AI.x社区

今天，我们将把视野扩展到更广阔的领域：多语言提示技术。在这个日益全球化的世界中，能够处理和理解多种语言的AI系统变得越来越重要。让我们一起探索如何利用提示工程来克服语言障碍，创建真正的多语言AI应用。1.多语言提示技术的重要性在开始深入技术细节之前，让我们先理解为什么多语言提示技术如此重要：全球化需求：随着企业和组织的全球化发展，需要能够理解和生成多种语言的AI系统。知识共享：多语言AI可以帮助跨语言知...

1.引言部分今天要给大家分享一篇很有意思的论文。这篇论文主要解决的是什么问题呢？就是如何让大语言模型在专业领域，比如医疗、科学领域表现得更好。你们有没有想过，虽然现在的ChatGPT、Claude这些大模型很厉害，但在专业领域它们的表现还是不够好，对吧？比如说，当我们问它一个关于"支气管扩张"的专业问题时，它可能就答不太准确了。这是为什么呢？主要原因是这样的这些专业领域有很多特殊的知识和术语，普通模型可能理解得...

最近在研究大模型训练和微调相关的内容，听领导说的最多的一句话“那不是有数据有算力就能搞定的吗”，于是调研了下qwen系列的训练细节。再整理过程中，再次感慨，怪不得有了数据和算力，也不是每家公司都是OpenAI。Qwen2.5MathQWEN2.5MATHTECHNICALREPORT：TOWARDMATHEMATICALEXPERTMODELVIASELFIMPROVEMENT1.预训练阶段Qwen2.5Math的预训练阶段是在Qwen2Math的基础上进行改进的。这个阶段的主要目标是构建一个高质量、数学内...

蓦然回首，从18年开始接触NLP（自然语言处理）开始，已经7年有余。机缘巧合的情形下，让自己和NLP有了第一次邂逅。从未接触NLP相关研究的自己，凭着年轻的热血投递搜狗的实习，那时候“不计后果”，不去考虑是否能行，直接“打火车”从天津到了北京，迎来人生的第一次（实习）面试。犹记得面试官的一个问题，“武汉市长江大桥”有几种分词方式，这个NLP中最典型的问题打开了我的NLP之路，实习的面试不难，当天面完当天又急匆匆...

第一章：为什么要给大模型喂"额外营养"？想象一下，你有一个超级智能的AI助手，它几乎无所不知。但当你问它"今天的股市行情如何？"或者"最新的新冠病毒变种有哪些症状？"，它却一脸茫然。这就是大语言模型（LLM）的现状知识广博但不够新鲜。这就是为什么我们需要给LLM喂点"额外营养"，也就是外部数据。这个过程，专业点说叫"检索增强生成"（RAG）。首先，让我们聊聊为什么要这么做：1.1让AI变得更"专业"LLM虽然懂得多，但在专业...

一、引言持续学习是智能的关键方面。它指的是从非平稳数据流中增量学习的能力，对于在非平稳世界中运作的自然或人工智能体来说是一项重要技能。人类是优秀的持续学习者，能够在不损害先前学习技能的情况下增量学习新技能，并能够将新信息与先前获得的知识整合和对比。然而，深度神经网络虽然在其他方面可以与人类智能相媲美，但几乎完全缺乏这种持续学习的能力。最引人注目的是，当这些网络被训练学习新事物时，它们倾向于"灾难...

1.研究背景与动机近年来，大语言模型（LargeLanguageModels,LLMs）在人工智能领域取得了巨大的进展。为了评估这些模型的能力，研究人员开发了许多评估基准。然而，随着这些基准的广泛使用，人们对其适当性和公平性产生了越来越多的担忧。本研究的主要动机包括：评估基准的重要性：评估基准是衡量LLMs能力的关键工具，对于理解模型进展至关重要。数据泄露问题：在准备预训练数据时，可能无意中包含了未来评估数据集的相关内容，...

看到Meta的发布会，感觉智能又近了一步，从视觉语言模型的革新到轻量级模型在边缘设备上的应用，Meta正在将AI的触角延伸到我们生活的每个角落。想象一下，在不久的将来，我们的手机可能会成为一个真正智能的个人助理，能够理解我们的视觉世界，回答复杂的问题，甚至帮助我们做出更明智的决策。同时，Meta坚持开源的策略正在激发全球开发者的创造力。这种开放创新的模式可能会加速AI技术的发展，带来我们现在还无法想象的应用和...

今天我要跟大家分享一篇很有意思的论文,题目是《AgentWorkflowMemory》,也就是"Agent工作流记忆"。这篇论文提出了一种新方法,让AI助手(我们称之为Agent)能更好地完成复杂的网页任务。背景:AI助手的挑战首先,我们来聊聊这个研究的背景。现在的AI技术已经非常强大了,特别是像GPT这样的大语言模型(LLM),它们可以进行对话、回答问题,甚至可以帮我们完成一些简单的任务。但是,当面对复杂的、需要多个步骤才能完成的任务时,AI助手还是...

在人工智能领域,具身AI(EmbodiedAI)一直是一个备受关注的研究方向。它旨在赋予AI代理与物理世界交互的能力,让AI不仅仅停留在虚拟的数字世界中,而是能够在真实环境中感知、规划和行动。近年来,随着大语言模型(LLM)的蓬勃发展,如何将LLM的强大语言理解和生成能力与具身AI任务结合起来,成为了一个热门的研究课题。在这个背景下,来自中国科学技术大学等机构的研究人员提出了一种新颖的方法——渐进式检索增强生成(ProgressiveRetrie...

图片9月13日，人工智能领域的领军企业OpenAI正式对外发布了一系列革命性的AI大模型，命名为o1系列。这一新模型在复杂推理能力方面取得了显著突破，展现出前所未有的问题解决能力，尤其在科学、数学和编程等专业领域表现卓越，引发业界广泛关注。o1系列的首款模型o1preview已在ChatGPT和大模型API中推出。该模型在多项高难度基准测试中表现优异，相较于前代模型GPT4o有质的飞跃。在国际数学奥林匹克（IMO）资格考试中，o1模型正...

这是一个由三部分组成的系列博客文章中的第一篇,主题是关于如何适配开源大型语言模型(LLMs)。在这篇文章中,我们将探讨适配LLMs到特定领域数据的各种方法。在第2部分,我们将讨论如何确定微调是否适合你的使用场景。在第3部分,我们将探讨一些整理优质训练数据集的经验法则。引言大型语言模型(LLMs)在大量语言任务和自然语言处理(NLP)基准测试中展现出了卓越的能力。基于这些"通用"模型的产品应用正在兴起。在这篇博客文章中,我们...

在自然语言处理领域，如何有效处理长文本一直是一个挑战。传统的文本分块方法虽然简单直接，但往往会导致上下文信息的丢失。今天，将介绍一种名为"迟分"的创新技术，它不仅能够保留长文本的上下文信息，还能显著提升文本处理的质量。传统方法的局限性在讨论迟分之前，让先回顾一下传统的文本处理流程，特别是在检索增强生成（RAG）系统中：分块：将长文本切割成小段Embedding：对每个小段进行向量化检索：根据查询找到相关的文...