- 博客(652)
- 收藏
- 关注
RSS订阅原创 蚂蚁集团 | 提出多任务大模型微调方法：CoBa，LLM最高性能提升13%！
近年来，大语言模型（LLMs）因其强大的性能成为研究热点。LLMs通过预训练积累大量通用知识，并在微调阶段针对具体任务进一步优化。但由于每个任务需要单独微调，部署变得复杂，且模型规模大，资源消耗高。为了解决这些问题，多任务学习（MTL）应运而生。MTL通过一个模型支持多个任务，显著节省计算和存储资源，同时还能提升任务的整体性能和泛化能力。LLMs大规模的参数空间使其具有很强的适应性，能够在支持多任务的同时实现较好的效果，比如OpenAI的GPT-3.5和GPT-4就展示了这种能力。「减少额外计算成本」
2024-11-17 12:30:00
298
原创 吴恩达揭秘：AI Agent四大策略对大语言模型性能的提升
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-16 10:45:00
641
原创 大模型LLM | 全参微调与LoRA的区别，及7种LoRA变种方法解析
LoRA系列大模型微调方法是大模型PEFT非常重要的一个研究方向，也是目前工程届应用最广法的微调方法之一，基于LoRA的改进的论文和方法还在不断更新。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
2024-11-15 11:24:55
562
原创 Cell和Nature的共同选择，这种多模态信息融合思路真的需要好好学习一下！
该研究通过多模态交互对齐使模型不仅依赖图像信息，还能有效融合临床文本信息。这种设计显著提升了模型的适应性，使其在不同外部验证数据集上表现出更强的泛化性。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
2024-11-15 07:45:00
432
原创 RAG 驱动的 NER：构建自定义模型的入门指南
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-14 16:22:41
784
原创 从大模型的岗位需求、薪资、应用等方面来聊聊大模型的前景
大模型在人工智能领域的快速发展，已经成为了行业的一个重要趋势。以下从岗位需求、薪资、应用等方面，探讨大模型的前景。
2024-11-14 11:25:11
540
原创 揭秘RAG背后的人机对话流程：从语音识别到智能生成
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-13 19:43:49
709
原创 一文彻底搞懂深度学习：梯度消失和梯度爆炸
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-13 11:38:21
889
原创 一个有意思的Prompt演员框架，LLMs被当成演员；提示被当成剧本；LLM输出被当成表演，o1从76%提高到87%
Connections是《纽约时报》推出的一个文字谜题游戏，规则如下：16个单词排列在4×4网格中需要找出4组单词，每组4个每组单词之间有独特的联系最多允许3次错误尝试https://connections.swellgarfo.com 这是文字谜题游戏网址，有兴趣可以玩玩。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
2024-11-13 11:11:14
749
原创 大神带你从零构建大语言模型（中文版）【附PDF下载】
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-12 11:07:38
668
原创 使用LangChain建立检索增强生成（RAG）系统
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-12 10:23:04
909
原创 GraphRouter：用于大语言模型选择的路由器
本文介绍了一种名为GraphRouter的图基路由器，通过利用任务、查询和大型语言模型（LLM）之间的上下文信息，来优化LLM的选择过程，提高性能和降低计算成本。论文题目： GraphRouter: A Graph-based Router for LLM Selections论文链接： https://arxiv.org/abs/2410.03834AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
2024-11-11 19:44:59
584
原创 多模态移动智能体基础与最新趋势调研：评估基准、核心组件、技术路线、发展趋势
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-11 19:21:16
959
原创 转型大模型AI产品经理指南，如何成为一名优秀的大模型AI产品经理？
在人工智能领域，大模型技术的快速发展为产品经理带来了新的机遇和挑战。如果你正考虑从传统行业转型为大模型AI产品经理，那么，接下来的指南可以给你你提供必要的指导和策略。
2024-11-11 14:09:04
645
原创 卡内基梅隆大学·最新15种典型RAG框架综述
这篇论文全面综述了检索增强生成（RAG）模型的发展历程、当前状态和未来方向。RAG模型通过结合检索和生成机制，显著提高了LLMs在知识密集型任务中的表现，特别是在事实准确性和上下文相关性方面。尽管RAG模型在多个领域取得了显著进展，但仍面临可扩展性、检索质量和偏见等挑战。未来的研究方向包括提高多模态集成、优化可扩展性和效率、增强个性化和适应性、以及解决伦理和隐私问题。通过解决这些挑战，下一代RAG模型有望推动更可靠、高效和领域自适应的LLMs系统的进一步发展。
2024-11-10 11:59:44
799
原创 AI大模型 | 六大LLM热门方向及应用解析
文本摘要与信息抽取旨在从大量文本中提取关键信息，生成简洁的摘要或结构化数据。热门应用：新闻摘要：自动生成新闻概要，帮助用户快速获取信息。情感分析：从评论或社交媒体中提取情感倾向，为企业提供市场反馈。
2024-11-10 10:54:45
743
原创 通往AGI，智能体（Agent）的5个能力级别
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-09 11:00:00
700
原创 一文搞明白！深度学习中的预训练与微调
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-08 20:49:42
542
原创 一文彻底搞懂深度学习：Transformer架构
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-08 10:26:51
746
原创 【大模型】深度解析：智能体如何突破 RAG 的三大技术瓶颈
传统RAG在处理简单问题时表现优秀，但在应对复杂、多步骤或需要多工具协作的问题时显得捉襟见肘。通过引入智能体层，RAG系统获得了更强的推理、工具集成、状态保持和自适应能力，使其更胜任复杂的问答任务。在构建更灵活、动态的问答系统中，智能体为我们提供了新的技术路径，有望显著提升RAG系统的应用潜力和实用性。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
2024-11-07 19:41:52
911
原创 LangChain 中的 Chat Model（聊天模型）
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-07 11:34:06
993
原创 Graphusion：基于零样本LLM的知识图谱构建框架
Graphusion是一个基于零样本大型语言模型（LLM）的知识图谱构建框架，旨在从自由文本中自动构建高质量的科学知识图谱。该框架主要包含三个关键步骤：种子实体生成、候选三元组抽取和知识图谱融合。以下将对这三个步骤进行详细介绍。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
2024-11-06 18:47:28
696
原创 抓住风口！转行AI大模型，看完这一篇就足够了！（附全套学习资源）
大模型，即大型神经网络模型，以其庞大的参数规模和强大的学习能力而著称。参数规模：拥有亿级甚至千亿级的参数量，如GPT-3的1750亿参数。学习能力：能够学习复杂的模式和关系，处理多样化的语言和视觉任务。数据需求：训练大模型需要海量的数据，通常来源于互联网上的各类内容。计算资源：训练过程消耗大量计算资源，需要高性能GPU集群和算法优化。
2024-11-06 11:39:20
780
原创 一文搞懂通义千问(Qwen)相关的核心概念
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-06 10:28:24
919
原创 使用 Swarm 构建多智能体新闻助理，利用Swarm 框架和 Llama 3.2 来自动化新闻处理工作流
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-05 10:27:56
972
原创 大模型技术学习路线指南，深入浅出！
学习大模型技术并非一蹴而就，需要扎实的理论基础和不断的实践探索。希望这份学习路线指南能帮助您更好地规划学习路径，逐步成为大模型技术领域的专家。记住，行动起来是学习的关键！
2024-11-04 19:36:53
557
原创 【推荐】自然语言处理：大模型理论与实践（450页）附下载
自然语言处理一直是人工智能最热门的应用研究领域，对科学技术、文化教育、经济社会的发展各个方面都具有极其重大的意义。自然语言处理的研究一直存在两类颇不相同而又相互补足的研究方法，即：规则方法与统计方法。规则方法追求的是对自然语言的理解，但严重受到领域的限制；统计方法恰好相反，它所追求的是领域无限，但语言理解能力却成为短板。近年以来，以ChatGPT为代表的生成式预训练对话人工智能技术(即大语言模型，简称大模型)取得了令人瞩目的进展，给基于统计方法的自然语言处理技术带来了前所未有的进步。
2024-11-04 10:46:23
290
原创 6道大模型面经：分布式训练指南（含答案解析）
单卡80g，可以完整加载小于40B的模型，但是训练时需要加上梯度和优化器状态，5B模型就是上限了，更别说 activation的参数也要占显存，batch size还得大。Zero3 需要满足通信量，假设当65B模型用Zero3，每一个step的每一张卡上需要的通信量是195GB（3倍参数量），也就 是1560Gb。PP，流水线并行，需要分层加载，把不同的层加载到不同的GPU上（accelerate的device_map）4. PP推理时是串行的，1个GPU计算但其他空闲，有什么其他的优化方式？
2024-11-04 10:16:48
767
原创 Graph-COT框架｜图推理增强LLMs
通过语义搜索识别图中的相关节点。：从图中提取特定节点的文本特征信息。：返回图中特定节点的邻居信息。：返回图中特定节点的邻居类型数量。在这项工作中，研究了用（文本赋予的）图作为外部知识源来增强LLMs的问题。首先手动构建了一个名为GRBENCH的基准数据集，包含来自5个领域的1,740个问题和10个图。GRBENCH中的每个问题都可以通过参考图来回答。进一步提出了一种简单有效的框架，称为GRAPH-COT，它可以通过让LLMs对图进行迭代推理来增强LLMs。
2024-11-03 11:45:00
726
原创 多模态 Arxiv | 统一大模型卷疯了！字节、英伟达纷纷下场！
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-02 13:45:00
879
原创 一篇搞懂多头注意力（Multi-Head Attention）
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-02 12:00:00
1685
原创 超强大的PDF数据提取库PyMuPDF4LLM
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-01 14:32:15
1342
原创 九个AI 大模型的功能特点与优势浅析
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-11-01 08:00:00
1113
原创 终于把 Transformer 中的注意力机制搞懂了！！
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-10-31 20:58:10
777
原创 使用LLMs和FinBERT对新闻和报告进行金融情绪分析
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-10-31 20:13:49
606
原创 LLM 作为评委：大模型输出内容审核的新思路
LLM应用中内容安全保护的概述为了更好地理解内容安全保护的有效性，我们对OpenAI、AWS和Azure等三家领先的供应商进行了详细评估。评估的重点是它们检测有害内容和阻止越狱的能力。我们评估了传统的内容审核系统和使用LLM作为评判以增强检测的概念。OpenAI内容审核平台Azure内容安全为了最大化Azure内容安全的效率，我们使用了所有三个功能：文本分析、越狱攻击检测和提示盾牌，以确保强大的保护并最小化有害内容或越狱攻击到达AI模型的风险。
2024-10-31 19:53:20
991
原创 一文彻底搞懂深度学习 - 反向传播（Back Propagation）
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
2024-10-30 10:54:54
930
原创 AI产品经理一定要知道的这些大模型LLM概念！万字总结！
在大模型时代，AI技术正以前所未有的速度发展，为成为AI产品经理提供了很好的机遇。这里也给大家精心准备了全套的 AI大模型+AI产品经理学习资源，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费。
2024-10-30 08:45:00
822
原创 我的AI产品经理转型之路，如何从AI小白逐步深入了解AI？
另外，作为一个赶上了移动互联网红利尾声的一代人，我和很多朋友时常会感叹我们这些出生于90~95的小伙伴，错过了当年互联网的“发财”的机会，但是今天的大模型技术和AI，可能就类比于当年的互联网，对我们来说，可能也是最近10年来唯一出现的一次机会，也可能是未来的10年内唯一的机会，所以我们必须要好好把握住，这是我在去年的6月份的时候的一些思考；，作为一个互联网行业的产品经理，我觉得自己有必要向AI产品经理转型，这是职业竞争的必要，同时也是我自己的兴趣所在，所以在一年前我就深深的意识到深入了解AI的重要性；
2024-10-29 19:05:06
665
原创 KAG开源了，知识增强掀翻RAG，性能翻倍
LLMFriSPG定义了一个数据结构M，包括实体类型（T）、概念类型（C）、归纳关系（ρ）和可执行规则（L）。实体类型包括预定义的属性，这些属性与LPG语法声明兼容。概念类型包括概念类、概念及其关系，每个概念树的根节点是一个与LPG语法兼容的概念类型类。
2024-10-29 11:07:43
768
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人