- 博客(149)
- 资源 (2)
- 收藏
- 关注
原创 硬刚 LoRA!北航&微软 | 提出高秩适应LLMs微调法:MoRA,填补LoRA低秩缺陷!
北航&微软 | 提出高秩适应LLMs微调法:MoRA,填补LoRA低秩缺陷!
2024-05-22 16:11:08
1062
原创 碾压LoRA!Meta & CMU | 提出高效大模型微调方法:GaLore,内存可减少63.3%
碾压LoRA!Meta & CMU | 提出高效大模型微调方法:GaLore,内存可减少63.3%
2024-03-17 15:14:47
1518
原创 PubMedQA数据集分享
这个数据集的主题分布涵盖了广泛的研究领域,包括回顾性、前瞻性和队列研究,不同年龄组,以及与医疗保健相关的主题,比如治疗结果、预后和疾病风险因素。:这个子集包含了 211,300 个 PubMed 文章,根据论文标题自动生成的问题和使用简单启发式方法生成的是/否答案标签。:这个子集包含了从 PubMed 文章中收集的 1,000 个手动注释的是/否/可能的问答数据。:这个无标签的子集包含了从 PubMed 文章中收集的 61,200 个上下文-问题对数据。编辑: ShuYini。
2024-03-08 20:33:28
509
原创 GPQA数据集分享
该数据集的问题极其难解,即便是在该领域已取得或正在攻读博士学位的专家,正确率也只有65%。而对同等专业背景但不同学科的非专家来说,正确率仅为34%。该数据集难度巨大,现有AI模型如GPT-4在该数据集上的正确率也仅为39%。GPQA数据集的设计考虑到了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性,同时让非专家尝试解决问题,可以确保数据集的问题对于非专家来说是具有挑战性的。尽管AI系统在许多任务上表现出色,但在需要大量专业知识和推理能力的任务上仍然存在局限性。编辑: ShuYini。
2024-03-07 20:47:16
992
原创 小模型大突破!北航&&清华 | 提出TinyLLaVA多模态框架,性能可媲美大模型
北航&&清华 | 提出TinyLLaVA多模态框架,性能可媲美大模型
2024-02-28 11:02:04
1160
原创 冲鸭~~!10分钟部署清华ChatGLM2-6B,效果测试:不愧是中文榜单第一
冲鸭~~! 10分钟部署清华ChatGLM2-6B,效果测试: 不愧是中文榜单第一
2023-09-25 16:52:48
1184
原创 分享 8 篇NLP论文,有研究惊奇发现:大语言模型除了学习语言还学到了... ...
一些方法已经尝试解决这个问题,但成效有限。在本文中,作者确定了一个简单的标准,可以显著增加模型在生成过程中分配更多概率给幻觉内容的可能性:高模型不确定性。这一发现为幻觉提供了一个潜在的解释:当模型对继续生成的内容不确定时,它们会默认偏向于高边际概率的文本,即训练集中高频发生的内容。作者提出了一种解码策略,当模型表现出不确定性时,转而优化源标记和目标标记的逐点互信息。在 XSum 数据集上的实验表明,这种方法减少了幻觉标记的概率,同时保持了顶级解码策略的Rouge和BertS得分。
2023-04-07 20:05:11
1321
原创 NLP不断突破界限,2023 十篇必读的顶级NLP论文!
来源:(每日干货分享!!编辑: ShuYini校稿: ShuYini时间: 2022-10-23。
2023-04-07 20:01:56
2642
1
原创 2023年!自然语言处理(NLP)10 大预训练模型
来源:(每日干货分享!!编辑: ShuYini校稿: ShuYini时间: 2022-10-23。
2023-04-07 19:51:55
5866
原创 一文了解“什么是ACL”、“什么是EACL”、“什么是NAACL”、“什么是AACL”国际会议
最近有小伙伴私信问:什么是ACL国际会议,除了ACL,EACL、NAACL、AACL分别是什么会议,它们有什么联系吗?另外ACL、EACL、NAACL、AACL分别是什么等级的会议呢?为此,作者针对这些问题,统一做了整理给大家分享交流。相信看完本文,你一定会对ACL有一个全面的了解。如果有错误的地方欢迎大家批评指正。
2022-10-24 11:35:34
8014
原创 预训练模型微调 | 一文带你了解Adapter Tuning
前几天的一篇文章,给大家介绍了预训练模型的微调方法Prompt Tuning。《一文了解预训练模型 Prompt 调优》。今天再给大家介绍另外一种主流的预训练模型微调方法Adapter,并将Adapter与Prompt两种方法做了对比,希望能对你的论文写作有启发。
2022-10-24 00:55:20
2212
1
原创 EMNLP2022 | 多模态“讽刺语言”检测框架(南洋理工 & 含源码)
今天给大家分享的这篇文章,从多模态角度出发,通过对基于多头交叉注意机制的原子级一致性和基于图神经网络的成分级一致性进行研究,提出了一种新的基于层次结构的讽刺语检测框架。
2022-10-24 00:48:21
1019
原创 一文了解预训练模型 Prompt 调优(比较详细)
最近看了很多关于NLP的文章,发现一些预训练模型(PLMs)调优很多都用到了Prompt。之前对Prompt理解相对比较简单,所以今天找了几篇综述,整理了一下关于Prompt的相关知识,个人觉还算比较全面,遂与大家分享学习。
2022-10-12 22:43:15
6214
AAAI论文下载(从2017起至今)
2024-02-28
ICLR论文下载(从2017起至今)
2024-02-26
ICML论文下载(从2017起至今)
2024-02-26
IJCAI论文下载(从2016起至今)
2024-02-26
NuerIPS论文下载(从2016起至今)
2024-02-26
EMNLP论文下载(从2016起至今)
2024-02-26
concrt140d,ucrtbased,msvp140d,vcruntime140d
2018-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人