AI.x社区

摘要：大语言模型（LLMs）的显著成功将自然语言处理（NLP）研究带入了一个新时代。尽管其功能多样，但基于不同语料库训练的LLMs表现出各自的优势与劣势，这对提升其整体效率与多功能性提出了挑战。为了解决这些挑战，近期的研究探索了LLMs的协作策略。本文对这一新兴研究领域进行了全面综述，阐述了协作研究的动机。具体而言，我们将协作策略分为三种主要方法：融合、集成与合作。融合涉及在参数空间内整合多个LLMs；集成结合了...

图1：从在ImageNet上训练的视觉自回归(VAR)Transformer生成的样本。展示了512×512的生成样本（顶部）、256×256的生成样本（中部）以及零样本图像编辑结果（底部）。摘要:我们提出了一种新的生成范式——视觉自回归建模（VAR），将图像上的自回归学习重新定义为从粗到精的“下一尺度预测”或“下一分辨率预测”，区别于传统的光栅扫描式“下一个标记预测”。这种简单直观的方法使自回归（AR）Transformer能够更快地学习视觉分...

摘要：大型语言模型（LLMs）在复杂任务中展示了令人印象深刻的推理能力。然而，它们缺乏最新的知识，并在推理过程中出现幻觉，这可能导致不正确的推理过程，从而降低其性能和可信度。知识图谱（KGs）以结构化格式捕捉大量事实，为推理提供了可靠的知识来源。然而，现有的基于KG的LLM推理方法仅将KG视为事实知识库，忽视了其结构信息在推理中的重要性。在本文中，我们提出了一种新方法，称为图上推理（RoG），它将LLMs与KGs协同...

​摘要：开源大型语言模型（LLMs）的快速发展确实令人瞩目。然而，先前文献中描述的扩展规律呈现出不同的结论，这为扩展LLMs蒙上了一层阴影。我们深入研究了扩展规律，并提出了我们独特的发现，这有助于在两种普遍使用的开源配置中扩展大规模模型，即7B和67B。在扩展规律的指导下，我们介绍了DeepSeekLLM，这是一个致力于从长远角度推进开源语言模型的项目。为了支持预训练阶段，我们已经开发了一个目前由2万亿个token组成的数...

​摘要：我们介绍了ChatGLM，这是我们持续开发的大规模语言模型家族。本报告主要聚焦于GLM4系列语言模型，包括GLM4、GLM4Air和GLM49B。它们是我们最强大的模型，集成了前三代ChatGLM的所有经验和教训。迄今为止，GLM4模型在中文和英文的十万亿个标注符号上进行了预训练，并辅以来自24种语言的小型语料库，主要为中英文使用进行了对齐。高质量的对齐通过多阶段后训练过程实现，包括监督微调和从人类反馈中学习。评估表明，GLM4在...

摘要：与人类类似，大型语言模型（LLMs）并不总是在第一次尝试时生成最佳输出。受人类改进书面文本方式的启发，我们提出了SELFREFINE，这是一种通过迭代反馈和优化来改进LLMs初始输出的方法。主要思想是首先使用LLM生成初始输出；然后，由同一个LLM对其输出提供反馈，并使用该反馈对其进行自我优化。SELFREFINE不需要任何监督训练数据、额外的训练或强化学习，而是使用单一的LLM作为生成器、优化器和反馈提供者。我们在7项不同...

​摘要：回答需要做出潜在决策的复杂问题是一项具有挑战性的任务，特别是在监督数据有限的情况下。最近的研究利用大型语言模型（LM）的能力，通过在单次推理过程中演示如何输出中间推理步骤，以少量示例解决复杂问题。我们提出了“逐次提示”方法，通过迭代将复杂任务分解为简单任务，逐步解决，直到得到最终答案。逐次提示将复杂问题分解的监督与简单问题回答的监督解耦，使我们能够（1）在每个推理步骤有多次机会查询上下文示...

01.Complexitybasedpromptingformultistepreasoning（ICLR2023)基于复杂度的提示方法用于多步推理摘要：我们研究了如何提示大规模语言模型进行多步推理。已有研究表明，当使用链式思考（CoT）提示，即用一系列短句描述从问题到答案的中间推理步骤时，大型语言模型能够为新的输入生成新的推理链并预测答案。本研究的核心问题是：哪些推理示例能成为最有效的提示？为此，我们提出了基于复杂度的提示方法，一种用于多步推理的简单...

​摘要:从头开始训练大型语言模型（LLM）可以生成具有独特功能和优势的模型，但这需要巨大的成本，并可能导致冗余功能。另一种具有成本效益且引人注目的方法是将现有的预训练LLM合并为一个更强大的模型。然而，由于这些LLM架构各不相同，直接融合它们的权重并不可行。在本文中，我们引入了LLM知识融合的概念，旨在将现有LLM的能力整合并转移到一个单一的LLM中。通过利用源LLM的生成分布，我们外化了它们的集体知识和独特优势，...

​​摘要:我们提出了一种简单的提示技术——“退一步”提示（STEPBACKPROMPTING），该技术能够使大语言模型（LLMs）进行抽象，从包含特定细节的实例中推导出高层次概念和基本原理。通过使用这些概念和原理来指导推理，LLMs显著提高了沿着正确推理路径找到解决方案的能力。我们在PaLM2L、GPT4和Llama270B模型上进行了“退一步”提示的实验，并在包括STEM、知识问答（KnowledgeQA）和多跳推理（MultiHopReasoning）等各种具有挑战...

01、CorexPushingtheboundariesofcomplexreasoningthroughmultimodelcollaborationCorex：通过多模型协作推动复杂推理的边界摘要：大型语言模型（LLMs）正以前所未有的速度发展，并在拥有世界知识的自然语言处理（NLP）领域展现了相当的能力。受益于超大规模的训练语料库，单一的LLM能够胜任典型的NLP任务。然而，其在执行复杂任务时的表现仍受到其内部表示的局限性约束。为进一步突破这一边界，我们引入了Corex，这是一套将LLM...

摘要:大型语言模型（LLMs）已经显著扩展，并逐渐融入各个领域。在机器人任务规划中，LLMs利用其先进的推理和语言理解能力，基于自然语言指令制定精准高效的行动计划。然而，对于需要与复杂环境交互的具体任务，仅限于文本的LLMs在与机器人视觉感知的兼容性方面往往面临挑战。本研究全面概述了LLMs和多模态LLMs在各种机器人任务中的新兴应用。此外，我们提出了一个利用多模态GPT4V增强具体任务规划的框架，通过结合自然语言指令...

​​摘要：大规模语言模型（LLMs）已经展示了显著的零样本泛化能力：最先进的聊天机器人可以为日常生活中的许多常见问题提供合理的答案。然而，迄今为止，LLMs还不能可靠地解决长期的机器人规划问题。相比之下，经典的规划器一旦以规范化的方式给出问题，可以使用高效的搜索算法快速找到正确的，甚至是最优的方案。为了结合两者的优势，本文引入了LLM+P，这是第一个将经典规划器的优势整合到LLMs中的框架。LLM+P接收规划问题的...

摘要人工通用智能的一个重大挑战是开发能够进行科学研究和发现新知识的智能体。虽然当前的前沿模型已经用于辅助人类科学家，如头脑风暴、编写代码或预测任务，但它们仍然只完成了科学过程的一小部分。本论文提出了第一个用于完全自动化科学发现的综合框架，使前沿大型语言模型（LLMs）能够独立进行研究并传达其发现。我们介绍了AI科学家，它能够生成新颖的研究想法，编写代码，执行实验，展示结果，通过撰写完整的科学论文来描...

​​摘要：强大的视觉主干与大型语言模型（LLM）推理的结合，导致大型多模态模型（LMM）成为当前广泛视觉语言（VL）任务的标准。然而，最近的研究显示，即使是最先进的LMM，在捕捉属性和对象之间关系等构成性视觉推理方面仍然存在困难。一种解决方案是利用场景图（SG）——对象及其关系和属性的形式化表达，它已广泛用作连接视觉和文本领域的桥梁。然而，场景图数据需要场景图注释，这在收集方面成本高昂，因此不易扩展。此外，...

​摘要：大型语言模型（LLMs）在解决各种自然语言处理任务方面取得了显著进展，这归功于其突显的推理能力。然而，LLMs本身存在固有的局限性，例如无法访问最新信息（存储在网络或任务特定的知识库中）、无法使用外部工具，以及无法进行精确的数学和逻辑推理。在本文中，我们提出了变色龙（Chameleon），一个通过增加即插即用模块来增强LLMs进行组合推理的AI系统。变色龙通过组合各种工具（例如LLMs、现成的视觉模型、网络搜索引...

摘要：语言模型正越来越多地用于广泛任务中的一般问题解决，但在推理过程中，它们仍然局限于逐字级别、从左到右的决策过程。这意味着它们在需要探索、战略性前瞻，或初始决策起关键作用的任务中可能表现不佳。为了解决这些挑战，我们引入了一种新的语言模型推理框架——“思维树”（TreeofThoughts，ToT），它推广了流行的“链式思维”方法，通过提示语言模型并使其能够探索作为解决问题中间步骤的连贯文本单元（“思想”）。To...

摘要:大型多模态模型（LargeMultimodalModels,LMMs）的出现引发了旨在利用其卓越推理能力的研究热潮。然而，在理解富含文本的图像方面，要充分发挥LMMs的潜力仍然存在挑战，现有的方法在有效处理高分辨率图像方面面临困难。为此，我们提出了TextCoT，这是一种针对富含文本图像理解的新颖连锁思维（ChainofThought）框架。TextCoT利用LMMs的图片标注能力来把握图像的整体情境，并利用其定位能力来检查局部文本区域，从而实现全局...

摘要：在现实世界的应用中，如引文网络、社交网络和生物数据等领域，图（graph）在表示和分析复杂关系方面起着至关重要的作用。最近，大型语言模型（LargeLanguageModels,LLMs）在众多领域取得了显著成功，并且也被应用于与图相关的任务中，以超越传统的基于图神经网络（GraphNeuralNetworks,GNNs）的方法，并实现了最先进的性能。本综述首先对现有整合LLMs与图的各类方法进行了全面回顾与分析。首先，我们提出了一种新的分类法...

原文题目：ThePowerofScaleforParameterEffificientPromptTuning，规模的力量：参数高效的提示调整摘要:在这项工作中，我们探索了“提示调整”（prompttuning），这是一种简单但有效的机制，用于学习“软提示”（softprompts），以调节冻结的语言模型，使其执行特定的下游任务。与GPT3使用的离散文本提示不同，软提示是通过反向传播学习得到的，并且可以调整以纳入任意数量的标记示例信号。我们的端到端学习方法在性能上大幅度...