Microsoft提出FILM-7B，解决大模型lost-in-the-middle问题，达到GPT-4-Turbo水平！

尽管许多大型语言模型（LLMs）能够处理长篇输入，但它们仍然难以充分利用长文本中的信息，这被称为“中间丢失（lost-in-the-middle）”挑战。这个问题可能是源于长文本训练期间缺乏明确的监督，未能强调长文本中任何位置都可能包含关键信息。基于这一直觉，提出了一种名为INformation-INtensive（IN2，信息密集）训练的方法，这是一种纯粹的数据驱动解决方案，用以克服“中间丢失”的问题，达到GPT-4-Turbo同等水平！

探测结果表明，IN2训练显著克服了骨干模型的“中间丢失”问题。它还能增强开源模型的性能，使其达到与GPT-4-Turbo等专有大型语言模型（LLMs）相当甚至更加稳健的性能水平。

Information-Intensive训练

• 训练数据构建

IN2训练的目标是明确教会模型，长文本中的任何位置都可能包含关键信息。利用了一个合成的长文本问答数据集，其中的答案需要（1）对合成的长文本（4K-32K个token）中的一个短片段（约128个token）有细粒度的信息意识，（2）整合和推理两个或更多短片段中的信息。

IN2训练的数据构建过程，旨在提高细粒度信息意识（上部），以及信息的整合和推理（下部）

图片

• FILM-7B训练细节（Filling-the-Middle，填补中间）

使用上述构建的训练数据，对Mistral-7B-Instruct-v0.2模型进行进一步的微调，得到FILM-7B模型。

IN2训练采用指令调整范式：长文本和问题用作指令，答案部分的损失用于更新模型。

Information-Intensive评测

为了全面评估FILM-7B利用长文本的能力，设计了三种探测任务，涵盖了各种上下文风格（文档、代码和结构化数据上下文）和信息检索模式（前向、后向和双向检索）。

在VAL探测中的三个任务，检索模式由检索关键词与要检索的信息之间的相对位置决定。

探测任务结果表明，FILM-7B能够在其32K的上下文窗口中稳健地检索信息。

FILM-7B在VAL探测中的性能以及与(a) Mistral、(b) LongAlign和(c) InternLM2的比较。X轴是上下文中的相对位置（约32K个token）。

除了这些探测任务，FILM-7B在真实世界的长文本任务上显著提高了性能（例如，在NarrativeQA上，F1分数从23.5提高到26.9）

FILM-7B同时在短文本任务上保持了相当的性能（例如，在MMLU上的准确率保持在59.3、59.2，GSM8K，MATH上则有不少提升）。

Make Your LLM Fully Utilize the Context
https://arxiv.org/pdf/2404.16811
https://github.com/microsoft/FILM/tree/main

本文转载自​​PaperAgent​​，作者：PaperAgent