当ChatGPT爆火后，大语言模型LLM的完整修炼之路 | 为什么说AI Agent还不够？

1、当ChatGPT爆火后，大语言模型LLM的完整修炼之路

图片

从ChatGPT横空出世以来，大语言模型（LLM）已经成为了AI领域最炙手可热的研究方向。最近发表的这篇综述性论文为我们全面解析了LLM从训练到推理的完整技术路线图。  

图片

纵观LLM的发展历程，我们见证了一个重要的技术演进过程：从最早的统计语言模型(SLM)，到基于神经网络的语言模型(NLM)，再到以ELMo为代表的预训练语言模型(PLM)。而真正的突破性进展，则是Transformer架构的出现。这个支持并行计算的自注意力机制，让模型可以轻松实现规模化扩展，为后来GPT系列等大模型的诞生铺平了道路。

图片

有趣的是，随着模型规模的不断扩大（通常超过60-100亿参数），研究人员发现了一个令人惊叹的现象：模型会突然展现出"涌现"能力。它不仅能生成高质量文本，还具备了强大的学习和推理能力，甚至可以通过上下文学习（ICL）来完成少样本学习任务。这也解释了为什么ChatGPT能在各类下游任务中展现出如此出色的表现。    

图片

图片

不过，训练和部署LLM并非易事。论文指出，这需要处理海量数据的专业知识和丰富的分布式并行训练经验。未来的发展趋势将更加注重降本增效：在训练端，重点关注数据预处理、训练架构优化、预训练任务设计等；在推理端，则致力于模型压缩、并行计算和内存调度等技术创新。这些都将是推动LLM技术继续演进的关键。

图片

论文标题：Understanding LLMs: A Comprehensive Overview from Training to Inference

论文链接：​​https://arxiv.org/abs/2401.02038​​

2、为什么说AI Agent还不够？一文读懂下一代智能助手的关键缺陷

图片

近期AI Agent成为了行业热点，但一篇最新发表的研究论文指出，仅仅依靠能力更强的AI Agent并不足以解决目前面临的根本性问题。研究团队深入分析了当前AI Agent存在的局限性，并提出了一个全新的生态系统解决方案。

图片

传统的AI Agent在执行任务时往往需要频繁的人工干预，难以适应不同用户的个性化需求，同时在隐私保护和可信度方面也存在明显短板。论文提出，要建立一个包含Agents（执行具体任务）、Sims（代表用户偏好和行为）以及Assistants（直接与用户交互并协调任务执行）三个核心组件的新型生态系统。

这个创新的生态系统设计独特之处在于：Agents负责执行专门的任务，Sims作为用户的数字化表征可以携带用户偏好和隐私设置，而Assistants则作为私密版本的agent，深入理解用户需求并灵活调用Sims和Agents来完成任务。这种分层架构不仅能提供个性化服务，还能确保用户隐私和系统可信度。

研究人员预测，未来可能会出现类似应用商店的"agent商店"，提供经过验证的各类agents供用户或其Assistants调用。但成功的关键在于确保整个生态系统的标准化、社会接受度以及持续的价值创造。这需要在技术创新的基础上，更加注重用户体验、信任建设和社会规范的融合。    

论文标题：Agents Are Not Enough

论文链接：​​​https://www.arxiv.org/abs/2412.16241​​

本文转载自 ​​AI帝国​​，作者： 无影寺