AI.x社区

一、概述•Title:ReasoningwithLanguageModelisPlanningwithWorldModel•URL:​​https:arxiv.orgabs2305.14992​​•Code：​​https:github.commaitrixorgllmreasoners​​•Demo:​​https:github.commaitrixorgllmreasonersblobmaindemo.ipynb​​1Motivation•尽管COT表现不错，但是当前LLM在生成plan、复杂数学推理、逻辑推理时仍然表现不够好。•LLMs缺乏内部“世界模型”来预测世界状态（例如环境状态、中间变量值）并...

大家好，我是HxShine。前段时间Google推出Gemini多模态大模型，展示了不凡的对话能力和多模态能力，其表现究竟如何呢？本文对Gemini报告进行分析，总的来说Gemini模型在图像、音频、视频和文本理解方面表现出卓越的能力。其包括Ultra、Pro和Nano尺寸，能够适用于从复杂推理任务到设备内存受限用例的各种应用。不像OpenAI接入多模态能力需要利用多个不同的模型，Google直接在预训练阶段直接接受多模态的输入是Gemini的特点之一，...

1、大模型也要"私人定制"？最新综述带你解锁AI的个性化服务人工智能正在飞速发展，ChatGPT等大语言模型已经成为我们生活中的"万能助手"。但你是否想过，如果AI助手能够真正理解你的个性特征，为你提供量身定制的服务，会是什么样的体验？最新发表的一篇综述论文，首次系统地梳理了大语言模型个性化这一前沿研究领域。就像每个人都有独特的性格和偏好一样，AI助手也需要"因材施教"。研究人员提出了三个层次的个性化方案：最精准...

今天分享GoogleResearch的一篇文章，可能OpenAIo1也采用了类似的技术，标题是STaR:BootstrappingReasoningWithReasoning。这篇文章提出了一种利用语言模型自我生成推理的技术，称为“SelfTaughtReasoner(STaR)”。该技术通过迭代地利用少量的推理样本和大量没有推理的数据，逐步提升语言模型处理复杂推理任务的能力。STaR能够显著提高模型在多个数据集上的性能，性能能与大30倍模型的微调性能相当。本文提出的方法一方面证明生...

大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...

一、概述title：UNIPELT:AUnifiedFrameworkforParameterEfficientLanguageModelTuning论文地址：https:arxiv.orgabs2110.07577代码：https:github.commorningmoniUniPELT1.1Motivation大模型不同的微调方法（PELT）例如LoRA，prefixtuning，Adapter方法效果不同，在不同的任务上效果也有差异，到底选哪个方法好呢？parameterefficientlanguagemodeltuning(PELT)方法能在参数量比finetuning小很多的情况下，perform追上finetunin...

今天分享一篇普林斯顿大学的一篇文章，TreeofThoughts:DeliberateProblemSolvingwithLargeLanguageModels[1]：思维之树:用大型语言模型解决复杂问题。这篇工作还是非常有借鉴意义的，OpenAI的AndrejKarpathy（前TeslaAI高级总监、自动驾驶Autopilot负责人）在stateofgpt[2]中也分享了这篇文章，其可以通过搜索多条解决路径，利用dfs以及bfs等算法，像人类一样利用回溯、剪枝等策略来思考和解决问题，可以让GPT4解决一些更复杂的...

一、概述Title:InstructUIE:MultitaskInstructionTuningforUnifiedInformationExtractionPaper:https:arxiv.orgabs2304.080851Motivation大语言模型解锁了非常强的多任务能力，但是大模型在信息抽取任务上表现比较差，例如gpt3.5turbo在Ontonotes数据集上的f1只有18.22。2Methods2.1整体结构说明：1）基于Instructiontuning技术，实现了一个信息抽取的统一框架，可以实现各式各样的信息抽取任务，并且能挖掘内部任务之间的依赖...

今天分享一篇最近比较热门的日本创业公司SakanaAI的一篇文章，标题为《TheAIScientist:TowardsFullyAutomatedOpenEndedScientificDiscovery》。文章提出了一种名为“AIScientist”的框架，旨在实现端到端完全自动化的科学发现，完成从Idea构建，实验跑取，文章撰写的完全自动化。验证了AI自动化探索新问题，解决新问题，甚至撰写Paper的可行性。同时还提出了一个能与人类评委水准接近的ReviewAgent，能够给出高水准的评审意见。...

大家好，我是HxShine今天分享一篇GoogleDeepMind公司的一篇文章，Title:FromRAGtoRICHES:RetrievalInterlacedwithSequenceGeneration：从RAG到RICHES：在生成过程中完成检索。这篇文章提出了一种新的方法RICHES，它将检索RAG与生成完全结合在一块。RICHES消除了对单独构建RAG系统再结合LLM进行生成的模式，为传统的RAG系统提供了一种替代方案。它通过直接解码其内容来检索文档，并受到语料库的约束。RICHES允许我们仅通过提示即...

一、概述Title:Llama2:OpenFoundationandFineTunedChatModels论文地址：Llama2:OpenFoundationandFineTunedChatModels代码：​​https:github.comfacebookresearchllama​​官网：​​https:ai.meta.comllama​​1Motivation开源的LLMchat模型效果还不太好，还没一个开源大模型能和闭源模型（例如chatgpt）能比的。ChatGPT是闭源的，LLM的有用性和安全性如何改进这一类论文还不是特别多。2Methods2.1整体架构总结1:参考Instruct...

一、概述title：Let’sVerifyStepbyStep论文地址：https:arxiv.orgabs2305.20050代码：https:github.comopenaiprm800k1.1Motivation近期大模型的出现极大的提升了复杂问题的多步推理能力，例如可以通过逐步思考（CoT）改善推理任务，但是即使最先进的模型也会产生逻辑错误。如何训练一个更好的rewardmodel，来做大模型的alignment对齐研究也是一个具有挑战的问题。结果监督（只提供最终的结果作为监督信号）和过程监督（提供每...

一、概述Title:PromptMix:AClassBoundaryAugmentationMethodforLargeLanguageModelDistillationURL:​​https:arxiv.orgabs2310.14192​​代码：​​https:github.comservicenowpromptmixemnlp2023​​Authors:GauravSahu,OlgaVechtomova,DzmitryBahdanau,IssamH.Laradji1Motivation•利用大型语言模型如GPT3生成新示例以解决文本分类训练数据不足的问题。•LLM推理成本比较高、DistiBERTbase和BERTbase等模型受限于训练数据不...

大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...

今天分享清华大学的一篇文章：NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。网络流量分类是一个重要的研究领域，旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战：（1）模型效率不佳：广泛使用的Transformer架构具有平方复杂度，在高速流量识别场景不可用；（2）流量表征不可靠：现有表征方案往往忽略重要字节信息或保留不必要的偏置。为了解决上述问题...

大家好，我是HxShine今天分享微软的一篇文章：ResearchAgent:IterativeResearchIdeaGenerationoverScientificLiteraturewithLargeLanguageModels。传统的科学研究过程包括新研究想法的提出和通过精心设计的实验来验证这些想法，这一过程缓慢且依赖专业专家，这限制了科研的生产力。这篇论文试图利用agent思想来自动生成新的论文idea，解决科学研究生产力低下的问题，论文提出了一个名为ResearchAgent的工具，这是一个由大型语言...

大家好，我是HxShine今天分享一篇人大的文章，大型语言模型知道您的会话上下文搜索意图（LargeLanguageModelsKnowYourContextualSearchIntent:APromptingFrameworkforConversationalSearch）。在会话型搜索中，由于会话型搜索场景的多样性和长尾特性，精准地理解用户的上下文搜索意图一直是一个重要挑战。现有的基于有限数据训练的方法在处理真实会话型搜索场景时，仍然表现出不足的有效性和鲁棒性。本文提出了一个简单却高效的...

大家好，我是HxShine，今天推荐一篇UCBerkeley的一篇RAG效果优化的文章～大模型引入新的知识一般有两个途径，一种是RAG检索增强，一种是SFT，哪种方式效果比较好呢？或者说有没有一些其他的更为有效的方式呢？这篇论文介绍了一种新的训练方法——检索增强型微调（RAFT：RetrievalAugmentedFineTuning），旨在改善领域特定的RAG（RetrievalAugmentedGeneration）条件下，大型语言模型（LLMs）对问题的回答能力。简单来说，RAFT将...

大家好，我是HxShine今天我们将介绍EMNLP2023的一篇大模型（LLMs）生成文本分类任务合成数据的文章，标题是《SyntheticDataGenerationwithLargeLanguageModelsforTextClassification:PotentialandLimitations》。实际落地中，高质量训练数据的收集和筛选既耗费时间又成本昂贵，研究人员探索使用LLMs生成合成数据作为替代方法。然而，LLMs生成的合成数据在支持不同文本分类任务的模型训练上效果有好有差。本文试图分析不同因素如...