AI.x社区

​大家好，我是HxShine。今天分享一篇普林斯顿大学和GoogleResearch,BrainTeam合作的一篇文章，REACT:SYNERGIZINGREASONINGANDACTINGINLANGUAGEMODELS[1]：在语言模型中协同Reasoning推理和Action行动。其在大语言模型中将Thought推理过程和Action行动结合，一方面可以通过Action从外部获取额外信息，另一方面可以通过Thought过程，细化任务，搜索有用信息，过滤无用信息，从而来提高大模型的表现。一、概述Title：REACT:SYNERG...

最近被Sora刷屏，今天结合OpenAISora的技术报告Videogenerationmodelsasworldsimulators来看下Sora具备哪些能力，以及这些能力是怎么来的。功能上除了文生图，还支持以图片、视频作为prompt，极大拓展使用场景。技术上，利用spacetimepatches，统一了时空分割语言，为后续模型训练以及使用场景的拓展打下基础。数据侧在准备高质量的caption数据做了专门的优化。另外模型基础架构采用DiffusionTransformer，通过Scalling，显著提...

大家好，我是HxShine。LLM的Reward模型该如何训练呢？今天对KaggleLLM比赛LLMScienceExam的一些优胜方法做一个总结，这是Kaggle竞赛平台第一次举办LLM相关比赛，赛题就是探索如何训练一个sciencebasedRewardModel。优胜方案中，如何利用RAG（检索增强）方法提高模型的上限，如何通过传统方法以及向量检索方法提高检索知识的质量，如何使用LoRA，QLoRA等技术对LLaMa2等系列进行微调，甚至在16GB内存的GPU上对70B大小的LLM进行推...

大家好，我是HxShine今天分享一篇ACL2024关于LLM蒸馏的文章，来自EmoryUniversity，题为“ExplanationGuidedLargeLanguageModelsActiveDistillation”（解释引导的大型语言模型主动蒸馏）。在大型语言模型（LLMs）的应用中，由于其内存效率低、计算需求高以及API推理成本高，限制了其广泛部署。现有的知识蒸馏方法虽然能将LLMs的能力转移到较小模型上，但无法确保知识充分转移，可能导致高成本或蒸馏不完全。本文提出了一个简单...

一、概述•Title:ReasoningwithLanguageModelisPlanningwithWorldModel•URL:​​https:arxiv.orgabs2305.14992​​•Code：​​https:github.commaitrixorgllmreasoners​​•Demo:​​https:github.commaitrixorgllmreasonersblobmaindemo.ipynb​​1Motivation•尽管COT表现不错，但是当前LLM在生成plan、复杂数学推理、逻辑推理时仍然表现不够好。•LLMs缺乏内部“世界模型”来预测世界状态（例如环境状态、中间变量值）并...

大家好，我是HxShine。前段时间Google推出Gemini多模态大模型，展示了不凡的对话能力和多模态能力，其表现究竟如何呢？本文对Gemini报告进行分析，总的来说Gemini模型在图像、音频、视频和文本理解方面表现出卓越的能力。其包括Ultra、Pro和Nano尺寸，能够适用于从复杂推理任务到设备内存受限用例的各种应用。不像OpenAI接入多模态能力需要利用多个不同的模型，Google直接在预训练阶段直接接受多模态的输入是Gemini的特点之一，...

1、大模型也要"私人定制"？最新综述带你解锁AI的个性化服务人工智能正在飞速发展，ChatGPT等大语言模型已经成为我们生活中的"万能助手"。但你是否想过，如果AI助手能够真正理解你的个性特征，为你提供量身定制的服务，会是什么样的体验？最新发表的一篇综述论文，首次系统地梳理了大语言模型个性化这一前沿研究领域。就像每个人都有独特的性格和偏好一样，AI助手也需要"因材施教"。研究人员提出了三个层次的个性化方案：最精准...

今天分享GoogleResearch的一篇文章，可能OpenAIo1也采用了类似的技术，标题是STaR:BootstrappingReasoningWithReasoning。这篇文章提出了一种利用语言模型自我生成推理的技术，称为“SelfTaughtReasoner(STaR)”。该技术通过迭代地利用少量的推理样本和大量没有推理的数据，逐步提升语言模型处理复杂推理任务的能力。STaR能够显著提高模型在多个数据集上的性能，性能能与大30倍模型的微调性能相当。本文提出的方法一方面证明生...

大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...

一、概述title：UNIPELT:AUnifiedFrameworkforParameterEfficientLanguageModelTuning论文地址：https:arxiv.orgabs2110.07577代码：https:github.commorningmoniUniPELT1.1Motivation大模型不同的微调方法（PELT）例如LoRA，prefixtuning，Adapter方法效果不同，在不同的任务上效果也有差异，到底选哪个方法好呢？parameterefficientlanguagemodeltuning(PELT)方法能在参数量比finetuning小很多的情况下，perform追上finetunin...

今天分享一篇普林斯顿大学的一篇文章，TreeofThoughts:DeliberateProblemSolvingwithLargeLanguageModels[1]：思维之树:用大型语言模型解决复杂问题。这篇工作还是非常有借鉴意义的，OpenAI的AndrejKarpathy（前TeslaAI高级总监、自动驾驶Autopilot负责人）在stateofgpt[2]中也分享了这篇文章，其可以通过搜索多条解决路径，利用dfs以及bfs等算法，像人类一样利用回溯、剪枝等策略来思考和解决问题，可以让GPT4解决一些更复杂的...

一、概述Title:InstructUIE:MultitaskInstructionTuningforUnifiedInformationExtractionPaper:https:arxiv.orgabs2304.080851Motivation大语言模型解锁了非常强的多任务能力，但是大模型在信息抽取任务上表现比较差，例如gpt3.5turbo在Ontonotes数据集上的f1只有18.22。2Methods2.1整体结构说明：1）基于Instructiontuning技术，实现了一个信息抽取的统一框架，可以实现各式各样的信息抽取任务，并且能挖掘内部任务之间的依赖...

今天分享一篇最近比较热门的日本创业公司SakanaAI的一篇文章，标题为《TheAIScientist:TowardsFullyAutomatedOpenEndedScientificDiscovery》。文章提出了一种名为“AIScientist”的框架，旨在实现端到端完全自动化的科学发现，完成从Idea构建，实验跑取，文章撰写的完全自动化。验证了AI自动化探索新问题，解决新问题，甚至撰写Paper的可行性。同时还提出了一个能与人类评委水准接近的ReviewAgent，能够给出高水准的评审意见。...

大家好，我是HxShine今天分享一篇GoogleDeepMind公司的一篇文章，Title:FromRAGtoRICHES:RetrievalInterlacedwithSequenceGeneration：从RAG到RICHES：在生成过程中完成检索。这篇文章提出了一种新的方法RICHES，它将检索RAG与生成完全结合在一块。RICHES消除了对单独构建RAG系统再结合LLM进行生成的模式，为传统的RAG系统提供了一种替代方案。它通过直接解码其内容来检索文档，并受到语料库的约束。RICHES允许我们仅通过提示即...

一、概述Title:Llama2:OpenFoundationandFineTunedChatModels论文地址：Llama2:OpenFoundationandFineTunedChatModels代码：​​https:github.comfacebookresearchllama​​官网：​​https:ai.meta.comllama​​1Motivation开源的LLMchat模型效果还不太好，还没一个开源大模型能和闭源模型（例如chatgpt）能比的。ChatGPT是闭源的，LLM的有用性和安全性如何改进这一类论文还不是特别多。2Methods2.1整体架构总结1:参考Instruct...

一、概述title：Let’sVerifyStepbyStep论文地址：https:arxiv.orgabs2305.20050代码：https:github.comopenaiprm800k1.1Motivation近期大模型的出现极大的提升了复杂问题的多步推理能力，例如可以通过逐步思考（CoT）改善推理任务，但是即使最先进的模型也会产生逻辑错误。如何训练一个更好的rewardmodel，来做大模型的alignment对齐研究也是一个具有挑战的问题。结果监督（只提供最终的结果作为监督信号）和过程监督（提供每...

一、概述Title:PromptMix:AClassBoundaryAugmentationMethodforLargeLanguageModelDistillationURL:​​https:arxiv.orgabs2310.14192​​代码：​​https:github.comservicenowpromptmixemnlp2023​​Authors:GauravSahu,OlgaVechtomova,DzmitryBahdanau,IssamH.Laradji1Motivation•利用大型语言模型如GPT3生成新示例以解决文本分类训练数据不足的问题。•LLM推理成本比较高、DistiBERTbase和BERTbase等模型受限于训练数据不...

大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...

今天分享清华大学的一篇文章：NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。网络流量分类是一个重要的研究领域，旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战：（1）模型效率不佳：广泛使用的Transformer架构具有平方复杂度，在高速流量识别场景不可用；（2）流量表征不可靠：现有表征方案往往忽略重要字节信息或保留不必要的偏置。为了解决上述问题...

大家好，我是HxShine今天分享微软的一篇文章：ResearchAgent:IterativeResearchIdeaGenerationoverScientificLiteraturewithLargeLanguageModels。传统的科学研究过程包括新研究想法的提出和通过精心设计的实验来验证这些想法，这一过程缓慢且依赖专业专家，这限制了科研的生产力。这篇论文试图利用agent思想来自动生成新的论文idea，解决科学研究生产力低下的问题，论文提出了一个名为ResearchAgent的工具，这是一个由大型语言...