AI.x社区

一、概述Title:PromptMix:AClassBoundaryAugmentationMethodforLargeLanguageModelDistillationURL:​​https:arxiv.orgabs2310.14192​​代码：​​https:github.comservicenowpromptmixemnlp2023​​Authors:GauravSahu,OlgaVechtomova,DzmitryBahdanau,IssamH.Laradji1Motivation•利用大型语言模型如GPT3生成新示例以解决文本分类训练数据不足的问题。•LLM推理成本比较高、DistiBERTbase和BERTbase等模型受限于训练数据不...

大家好，我是HxShine今天分享一篇Microsoft公司的一篇文章，Title:ImprovingTextEmbeddingswithLargeLanguageModels：使用大型语言模型改善文本嵌入。这篇文章探索了直接利用LLM来做embedding模型，其只需要利用合成数据和少于1000次的训练步骤就能获得高质量文本表征。该方法分为两步：1）利用LLM生成文本embedding任务合成数据集：利用专有的大型语言模型（LLM）生成近100种语言的数十万个文本嵌入任务的多样化合成数据。2）...

今天分享清华大学的一篇文章：NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。网络流量分类是一个重要的研究领域，旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战：（1）模型效率不佳：广泛使用的Transformer架构具有平方复杂度，在高速流量识别场景不可用；（2）流量表征不可靠：现有表征方案往往忽略重要字节信息或保留不必要的偏置。为了解决上述问题...

大家好，我是HxShine今天分享微软的一篇文章：ResearchAgent:IterativeResearchIdeaGenerationoverScientificLiteraturewithLargeLanguageModels。传统的科学研究过程包括新研究想法的提出和通过精心设计的实验来验证这些想法，这一过程缓慢且依赖专业专家，这限制了科研的生产力。这篇论文试图利用agent思想来自动生成新的论文idea，解决科学研究生产力低下的问题，论文提出了一个名为ResearchAgent的工具，这是一个由大型语言...

大家好，我是HxShine今天分享一篇人大的文章，大型语言模型知道您的会话上下文搜索意图（LargeLanguageModelsKnowYourContextualSearchIntent:APromptingFrameworkforConversationalSearch）。在会话型搜索中，由于会话型搜索场景的多样性和长尾特性，精准地理解用户的上下文搜索意图一直是一个重要挑战。现有的基于有限数据训练的方法在处理真实会话型搜索场景时，仍然表现出不足的有效性和鲁棒性。本文提出了一个简单却高效的...

大家好，我是HxShine，今天推荐一篇UCBerkeley的一篇RAG效果优化的文章～大模型引入新的知识一般有两个途径，一种是RAG检索增强，一种是SFT，哪种方式效果比较好呢？或者说有没有一些其他的更为有效的方式呢？这篇论文介绍了一种新的训练方法——检索增强型微调（RAFT：RetrievalAugmentedFineTuning），旨在改善领域特定的RAG（RetrievalAugmentedGeneration）条件下，大型语言模型（LLMs）对问题的回答能力。简单来说，RAFT将...

大家好，我是HxShine今天我们将介绍EMNLP2023的一篇大模型（LLMs）生成文本分类任务合成数据的文章，标题是《SyntheticDataGenerationwithLargeLanguageModelsforTextClassification:PotentialandLimitations》。实际落地中，高质量训练数据的收集和筛选既耗费时间又成本昂贵，研究人员探索使用LLMs生成合成数据作为替代方法。然而，LLMs生成的合成数据在支持不同文本分类任务的模型训练上效果有好有差。本文试图分析不同因素如...