AI.x社区

原文：QueryOptimizationforParametricKnowledgeRefinementinRetrievalAugmentedLargeLanguageModels一、研究背景与挑战在自然语言处理领域,大语言模型(LLMs)取得了显著进展。这些模型通过在海量语料上进行训练,展现出理解人类文本和生成高质量响应的卓越能力。然而,大语言模型存在一个重要的局限性它们难以准确捕捉信息的动态更新。因为这些模型是在静态语料库上预训练的,当面对最新或不常见的信息时,它们往往会生成过时或不准...

今天，我们将进入一个更加复杂和动态的领域：提示工程中的代理技术。这种技术允许我们创建能够自主决策、执行复杂任务序列，甚至与人类和其他系统交互的AI系统。让我们一起探索如何设计和实现这些智能代理，以及它们如何改变我们与AI交互的方式。1.代理技术在AI中的重要性在深入技术细节之前，让我们先理解为什么代理技术在现代AI系统中如此重要：任务复杂性：随着AI应用场景的复杂化，单一的静态提示已经无法满足需求。代理可...

今天，我们将把视野扩展到更广阔的领域：多语言提示技术。在这个日益全球化的世界中，能够处理和理解多种语言的AI系统变得越来越重要。让我们一起探索如何利用提示工程来克服语言障碍，创建真正的多语言AI应用。1.多语言提示技术的重要性在开始深入技术细节之前，让我们先理解为什么多语言提示技术如此重要：全球化需求：随着企业和组织的全球化发展，需要能够理解和生成多种语言的AI系统。知识共享：多语言AI可以帮助跨语言知...

1.引言部分今天要给大家分享一篇很有意思的论文。这篇论文主要解决的是什么问题呢？就是如何让大语言模型在专业领域，比如医疗、科学领域表现得更好。你们有没有想过，虽然现在的ChatGPT、Claude这些大模型很厉害，但在专业领域它们的表现还是不够好，对吧？比如说，当我们问它一个关于"支气管扩张"的专业问题时，它可能就答不太准确了。这是为什么呢？主要原因是这样的这些专业领域有很多特殊的知识和术语，普通模型可能理解得...

最近在研究大模型训练和微调相关的内容，听领导说的最多的一句话“那不是有数据有算力就能搞定的吗”，于是调研了下qwen系列的训练细节。再整理过程中，再次感慨，怪不得有了数据和算力，也不是每家公司都是OpenAI。Qwen2.5MathQWEN2.5MATHTECHNICALREPORT：TOWARDMATHEMATICALEXPERTMODELVIASELFIMPROVEMENT1.预训练阶段Qwen2.5Math的预训练阶段是在Qwen2Math的基础上进行改进的。这个阶段的主要目标是构建一个高质量、数学内...

蓦然回首，从18年开始接触NLP（自然语言处理）开始，已经7年有余。机缘巧合的情形下，让自己和NLP有了第一次邂逅。从未接触NLP相关研究的自己，凭着年轻的热血投递搜狗的实习，那时候“不计后果”，不去考虑是否能行，直接“打火车”从天津到了北京，迎来人生的第一次（实习）面试。犹记得面试官的一个问题，“武汉市长江大桥”有几种分词方式，这个NLP中最典型的问题打开了我的NLP之路，实习的面试不难，当天面完当天又急匆匆...

第一章：为什么要给大模型喂"额外营养"？想象一下，你有一个超级智能的AI助手，它几乎无所不知。但当你问它"今天的股市行情如何？"或者"最新的新冠病毒变种有哪些症状？"，它却一脸茫然。这就是大语言模型（LLM）的现状知识广博但不够新鲜。这就是为什么我们需要给LLM喂点"额外营养"，也就是外部数据。这个过程，专业点说叫"检索增强生成"（RAG）。首先，让我们聊聊为什么要这么做：1.1让AI变得更"专业"LLM虽然懂得多，但在专业...

一、引言持续学习是智能的关键方面。它指的是从非平稳数据流中增量学习的能力，对于在非平稳世界中运作的自然或人工智能体来说是一项重要技能。人类是优秀的持续学习者，能够在不损害先前学习技能的情况下增量学习新技能，并能够将新信息与先前获得的知识整合和对比。然而，深度神经网络虽然在其他方面可以与人类智能相媲美，但几乎完全缺乏这种持续学习的能力。最引人注目的是，当这些网络被训练学习新事物时，它们倾向于"灾难...

1.研究背景与动机近年来，大语言模型（LargeLanguageModels,LLMs）在人工智能领域取得了巨大的进展。为了评估这些模型的能力，研究人员开发了许多评估基准。然而，随着这些基准的广泛使用，人们对其适当性和公平性产生了越来越多的担忧。本研究的主要动机包括：评估基准的重要性：评估基准是衡量LLMs能力的关键工具，对于理解模型进展至关重要。数据泄露问题：在准备预训练数据时，可能无意中包含了未来评估数据集的相关内容，...

看到Meta的发布会，感觉智能又近了一步，从视觉语言模型的革新到轻量级模型在边缘设备上的应用，Meta正在将AI的触角延伸到我们生活的每个角落。想象一下，在不久的将来，我们的手机可能会成为一个真正智能的个人助理，能够理解我们的视觉世界，回答复杂的问题，甚至帮助我们做出更明智的决策。同时，Meta坚持开源的策略正在激发全球开发者的创造力。这种开放创新的模式可能会加速AI技术的发展，带来我们现在还无法想象的应用和...

今天我要跟大家分享一篇很有意思的论文,题目是《AgentWorkflowMemory》,也就是"Agent工作流记忆"。这篇论文提出了一种新方法,让AI助手(我们称之为Agent)能更好地完成复杂的网页任务。背景:AI助手的挑战首先,我们来聊聊这个研究的背景。现在的AI技术已经非常强大了,特别是像GPT这样的大语言模型(LLM),它们可以进行对话、回答问题,甚至可以帮我们完成一些简单的任务。但是,当面对复杂的、需要多个步骤才能完成的任务时,AI助手还是...

在人工智能领域,具身AI(EmbodiedAI)一直是一个备受关注的研究方向。它旨在赋予AI代理与物理世界交互的能力,让AI不仅仅停留在虚拟的数字世界中,而是能够在真实环境中感知、规划和行动。近年来,随着大语言模型(LLM)的蓬勃发展,如何将LLM的强大语言理解和生成能力与具身AI任务结合起来,成为了一个热门的研究课题。在这个背景下,来自中国科学技术大学等机构的研究人员提出了一种新颖的方法——渐进式检索增强生成(ProgressiveRetrie...

图片9月13日，人工智能领域的领军企业OpenAI正式对外发布了一系列革命性的AI大模型，命名为o1系列。这一新模型在复杂推理能力方面取得了显著突破，展现出前所未有的问题解决能力，尤其在科学、数学和编程等专业领域表现卓越，引发业界广泛关注。o1系列的首款模型o1preview已在ChatGPT和大模型API中推出。该模型在多项高难度基准测试中表现优异，相较于前代模型GPT4o有质的飞跃。在国际数学奥林匹克（IMO）资格考试中，o1模型正...

这是一个由三部分组成的系列博客文章中的第一篇,主题是关于如何适配开源大型语言模型(LLMs)。在这篇文章中,我们将探讨适配LLMs到特定领域数据的各种方法。在第2部分,我们将讨论如何确定微调是否适合你的使用场景。在第3部分,我们将探讨一些整理优质训练数据集的经验法则。引言大型语言模型(LLMs)在大量语言任务和自然语言处理(NLP)基准测试中展现出了卓越的能力。基于这些"通用"模型的产品应用正在兴起。在这篇博客文章中,我们...

在自然语言处理领域，如何有效处理长文本一直是一个挑战。传统的文本分块方法虽然简单直接，但往往会导致上下文信息的丢失。今天，将介绍一种名为"迟分"的创新技术，它不仅能够保留长文本的上下文信息，还能显著提升文本处理的质量。传统方法的局限性在讨论迟分之前，让先回顾一下传统的文本处理流程，特别是在检索增强生成（RAG）系统中：分块：将长文本切割成小段Embedding：对每个小段进行向量化检索：根据查询找到相关的文...