AI.x社区

​摘要：大型语言模型（LLMs）的进步使得思维链（ChainofThought，CoT）方法受到了极大的关注，主要是因为它能够增强LLMs在复杂推理任务上的能力。此外，CoT方法的重要性还扩展到了将LLMs应用于多模态任务。然而，由于多模态样本固有的复杂性，为多模态推理选择最优CoT示例的问题在LLMs中尚未得到充分探索。在本文中，我们介绍了一种新颖的方法，通过使用检索机制来动态且自动地根据跨模态和内模态相似性选择示例，从而解决这一...

译者布加迪审校重楼之前我介绍了如何使用OpenAI最新的LLMGPT4o，通过函数调用将实时数据引入到​​LLM​​。在这篇后续文章中我将介绍使用Hermes2ProLlama38B进行函数调用，这是一种由NousResearch开发的功能强大的LLM，基于Meta的Llama3架构，有80亿个参数。它是开放模型，我们将在HuggingFace的文本生成推理上运行它。我们将把Fightaware.com的API与该LLM集成起来，以便实时跟踪航班状态。FlightAware的AeroAPI是开发人员获取...

摘要：我们介绍了CLUSTERLLM，这是一种利用经过指令微调的大型语言模型（如ChatGPT）反馈的新型文本聚类框架。与建立在“小”嵌入器上的传统无监督方法相比，CLUSTERLLM具有两个有趣的优势：（1）即使其嵌入不可访问，它也享有LLM的突现能力；（2）它通过文本指令和或少量标注数据理解用户对聚类的偏好。首先，我们通过构建困难的三重问题<是否A比C更对应B>来提示ChatGPT，以获取聚类视角的见解，其中A、B和C是根据小嵌入器属于...

大规模语言模型（LLMs）的持续预训练是提升其在特定领域性能的重要方法。通过在新领域的语料库上预训练大语言模型，这一过程能够显著增加模型的领域知识储备和任务能力。然而，尽管已有许多研究探讨了从头预训练的LLMs的学习机制和性质，关于持续预训练过程中LLMs行为的研究却相对较少。最近北京大学、香港科技大学等开源了一个8B医学大模型，通过测试模型在连续预训练和指令微调实验过程中的表现变化，发现了许多有趣的现象。...

美国计算机科学家和技术乐观主义者雷·库兹韦尔（RayKurzweil）是人工智能领域久负盛名的权威。他在2005年出版的畅销书《奇点临近》（TheSingularityIsNear）以科幻般的预测引发了人们的无尽遐想：计算机将在2029年达到人类水平的智能，而我们将在2045年左右与计算机融合，成为超人，他将此称为「奇点」。如今，将近20年过去了，76岁的库兹韦尔推出了续集《奇点更近了》（TheSingularityIsNearer）。在新作中，库兹韦尔提出了5...

本文介绍了一篇语言模型对齐研究的论文，由瑞士、英国、和法国的三所大学的博士生和GoogleDeepMind以及GoogleResearch的研究人员合作完成。其中，通讯作者TianlinLiu和MathieuBlondel分别来自瑞士巴塞尔大学和GoogleDeepMindParis。这篇论文已被ICML2024接收，并且入选为spotlightpresentation(仅占总投稿量的3.5%)。论文地址：https:openreview.netforumidn8g6WMxt09&noteIdE3VVDPVOPZ代码地址：https:github.comliutianlin012...

摘要—最近，以GPT4V为代表的多模态大型语言模型（MLLM）已成为新兴的研究热点，它使用强大的大型语言模型（LLMs）作为“大脑”来执行多模态任务。MLLM出人意料的涌现能力，如基于图像编写故事和无需OCR的数学推理，是传统多模态方法中罕见的，这表明了一条通往人工通用智能的潜在路径。为此，学术界和工业界都致力于开发能够与GPT4V竞争甚至超越的MLLM，以惊人的速度推动研究的极限。在本文中，我们旨在追踪并总结MLLM的最新进...

​摘要：视觉定位是将用户提供的文本查询与图像中特定区域链接起来的基本工具。尽管视觉定位模型取得了一定进展，但它们在理解复杂查询方面的能力仍然有限。为了解决这一限制，我们引入了LLMOptic，这是一种创新方法，利用大型语言模型（LLM）作为光学透镜来增强现有视觉定位模型对涉及复杂文本结构、多对象或对象空间关系的复杂文本查询的理解能力——这些情况是当前模型难以应对的。LLMOptic首先使用LLM作为文本定位器来解释...

​摘要：随着通过思维链（CoT）方法增强的大型语言模型（LLMs）的出现，视觉推理问题通常被分解成可管理的子任务，并使用各种外部工具依次解决。然而，这种范式面临决策中潜在的“确定性幻觉”的挑战，这是由于视觉信息不足以及低级感知工具的限制，这些工具无法提供全面推理所需的抽象总结。我们认为，视觉上下文获取与逻辑推理的融合是解决视觉推理任务的关键。本文深入探讨了多模态CoT的领域，使用多模态大型语言模型（MLLMs...

摘要：大型语言模型（LLMs）可以通过生成中间推理步骤来执行复杂推理。为提示演示提供这些步骤被称为思维链（CoT）提示。CoT提示有两种主要范式。一种利用简单的提示，如“让我们一步一步地思考”，以促进在回答问题之前逐步思考。另一种使用一些手动演示，每个演示由一个问题和一个推理链组成，该链导致一个答案。第二种范式的优越性能依赖于逐个手工制作任务特定的演示。我们展示了通过利用LLMs使用“让我们一步一步地思考”...

一、结论写在前面下面介绍的论文来自上海交大、上海AIlib。论文标题：OlympicArena:BenchmarkingMultidisciplineCognitiveReasoningforSuperintelligentAI论文链接：​​https:arxiv.orgpdf2406.12753​​项目链接：​​https:gairnlp.github.ioOlympicArena​​图1：AI从高考[57]现场参与奥运会为了全面评估当前模型在认知推理能力方面的表现，论文引入了OlympicArena，这是一个包含11,163个双语文本问题的基准，涵盖纯文本和...

一段AI生成的体操视频，引发近百万网友围观，LeCun等一众大佬还因为它吵起来了。体操表演，emmmm怎么不算呢？通过视频右上角的水印，此段视频正是由那个一度被认为是“下一代”文生视频的DreamMachine（来自LumaAI）生成的。大伙儿看后纷纷坐不住，围绕此讨论的，是AI视频领域的一个熟悉的话题：AI是否理解物理规律。LeCun直接开麦：视频生成模型不理解基本物理知识。更不用说人体了。华盛顿大学计算机科学教授PedroDomingos看...

每年高考一结束，填报志愿就成了考生和家长们最关心的大事。近年来，随着人工智能的迅猛发展，不少人开始依赖AI来帮忙填报高考志愿。输入分数、位次等信息，AI立马给出一张详细的选校方案，这样的操作看起来是省时又省力，但究竟靠不靠谱呢？让我们来一探究竟。输入考生信息，瞬间生成志愿推荐列表湖南长沙的邹同学今年高考结束后，尝试用AI智能系统来填报志愿。在一个“智能填报”页面上，他只需要输入高考总分、位次、选科等...

摘要：结合预训练大型语言模型的链式思考提示在复杂推理任务上已取得令人鼓舞的成果。本文提出了一种新的解码策略——自我一致性，以替代链式思考提示中使用的朴素贪婪解码。该策略首先采样一套多样化的推理路径，而非单一的贪心路径，并通过边缘化采样的推理路径来选择最一致的答案。自我一致性利用了这样一种直觉：一个复杂的推理问题通常允许通过多种不同的思考方式达到其唯一正确的答案。广泛的实证评估表明，自我一致性显...

​摘要：思维链推理，作为人类智能的基本认知过程，在人工智能和自然语言处理领域引起了极大的关注。然而，这一领域仍然缺乏全面的综述。为此，我们迈出了第一步，全面而广泛地呈现了这一研究领域的深入调查。我们使用XofThought（思维X）来广泛地指代思维链推理。具体来说，我们根据方法的分类系统地组织了当前的研究，包括XoT构建、XoT结构变体和增强的XoT。此外，我们描述了XoT在前沿应用中的使用，涵盖了规划、工具使用和蒸...

一、结论写在前面论文来自香港城市大学、华为诺亚方舟实验室。论文标题：LLMenhancedRerankinginRecommenderSystems论文链接：​​https:arxiv.orgpdf2406.12433​​重排序是推荐系统中的关键组件，对精炼推荐算法的输出起着至关重要的作用。传统的重排序模型主要关注准确性，但现代应用要求考虑多样性和公平性等额外标准。现有的重排序方法往往在模型层面未能有效地调和这些多样化的标准。此外，这些模型由于其复杂性和不同场...

摘要:大型多模态模型（LargeMultimodalModels,LMMs）的出现引发了旨在利用其卓越推理能力的研究热潮。然而，在理解富含文本的图像方面，要充分发挥LMMs的潜力仍然存在挑战，现有的方法在有效处理高分辨率图像方面面临困难。为此，我们提出了TextCoT，这是一种针对富含文本图像理解的新颖连锁思维（ChainofThought）框架。TextCoT利用LMMs的图片标注能力来把握图像的整体情境，并利用其定位能力来检查局部文本区域，从而实现全局...

摘要:近年来，大型语言模型（LLMs）的集成已经彻底改变了机器人学领域，使机器人能够以类似人类的熟练程度进行交流、理解和推理。本文探讨了LLMs对机器人学多方面的影响，解决了利用这些模型在各个领域的关键挑战和机遇。通过将LLM应用归类并分析在机器人学的核心要素——通信、感知、规划和控制中，我们旨在为寻求将LLM集成到他们的机器人系统中的研究者提供可行的见解。我们的研究重点放在GPT3.5之后开发的LLMs上，主要在基于...

​API（应用程序编程接口，ApplicationProgrammingInterface）是一组定义和协议，用于构建和集成应用程序软件。API允许不同的软件系统之间进行通信和数据交换。大模型API是大模型应用开发的基础。API的使用不需要很高的算力，CPU就能跑。1.API作用及优势大模型API（如GPT4、BERT等）提供了强大的自然语言处理（NLP）能力，可以应用于各种任务。以下是大模型API的主要功能和用途：1.自然语言理解和生成：理解和生成自然语言文本...

摘要：在现实世界的应用中，如引文网络、社交网络和生物数据等领域，图（graph）在表示和分析复杂关系方面起着至关重要的作用。最近，大型语言模型（LargeLanguageModels,LLMs）在众多领域取得了显著成功，并且也被应用于与图相关的任务中，以超越传统的基于图神经网络（GraphNeuralNetworks,GNNs）的方法，并实现了最先进的性能。本综述首先对现有整合LLMs与图的各类方法进行了全面回顾与分析。首先，我们提出了一种新的分类法...