回复
「有效上下文」提升20倍！DeepMind发布ReadAgent框架
基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。
除了上下文窗口较小外，LLM的性能会随着输入内容长度的增加而下降，即便输入内容未超过模型的上下文窗口长度限制也是如此。
相比之下，人类却可以阅读、理解和推理很长的文本。
LLM和人类在阅读长度上存在差异的主要原因在于阅读方法：LLM逐字地输入精确的内容，并且该过程相对被动；但过于准确的信息往往会被遗忘，而阅读过程更注重理解模糊的要点信息，即不考虑准确单词的内容能记忆更长时间。
人类阅读也是一个互动的过程，比如回答问题时还需要从原文中进行检索。
为了解决这些限制，来自Google DeepMind和Google Research的研究人员提出了一个全新的LLM系统ReadAgent，受人类如何交互式阅读长文档的启发，将有效上下文长度增加了20倍。
论文链接：https://arxiv.org/abs/2402.09727
受人类交互式阅读长文档的启发，研究人员将ReadAgent实现为一个简单的提示系统，使用LLMs的高级语言功能：
1. 决定将哪些内容存储在记忆片段（memory episode）中；
2. 将记忆片段压缩成称为要点记忆的简短片段记忆，
3. 如果ReadAgent需要提醒自己完成任务的相关细节，则采取行动（action）来查找原始文本中的段落。
在实验评估中，相比检索、原始长上下文、要点记忆（gist memories）方法，ReadAgent在三个长文档阅读理解任务（QuALITY，NarrativeQA和QMSum）上的性能表现都优于基线，同时将有效上下文窗口扩展了3-20倍。
ReadAgent框架
1. 要点记忆（gist memory）
要点记忆是原始长上下文中文本块的短要点的有序集合，构建gist记忆有两个步骤：分页（pagination）和记忆提要（memory gisting）。
片段分页（episode pagination）
当ReadAgent阅读长文本时，通过选择暂停阅读的位置来决定在记忆片段中存储哪些内容。
每一步都会为LLM提供部分文本，从上一个暂停点开始，并在达到最大单词数限制时结束；提示LLM选择段落之间的哪个点将是自然的暂停点，然后将前一个和当前暂停点之间的内容视为一个episode，也可以叫做页（page）。
记忆提要（memory gisting）
对于每一页，提示LLM将确切的内容缩短为要点或摘要。
2. 并行和顺序交互查找
由于要点记忆与页相关，所以只需提示LLM来找出哪一页更像是答案，并在给定特定任务的情况下再次阅读，主要有两种查找策略：同时并行查找所有页面（ReadAgent-P）和每次查找一个页面（ReadAgent-S）。
ReadAgent-P
比如说，在问答任务中，通常会给LLM输入一个可以查找的最大页数，但也会指示其使用尽可能少的页面，以避免不必要的计算开销和干扰信息（distracting information）。
ReadAgent-S
顺序查找策略中，模型一次请求一页，在决定展开（expand）哪个页面之前，先查看之前展开过的页面，从而使模型能够访问比并行查找更多的信息，预期在某些特殊情况下表现得更好。
但与模型的交互次数越多，其计算成本也越高。
3. 计算开销和可扩展性
片段分页、记忆提要和交互式查找需要迭代推理，也存在潜在的计算开销，但具体开销由一个小因子线性约束，使得该方法的计算开销不会输入长度的增加而剧烈提升。
由于查找和响应大多是条件要点（conditioned gists）而非全文，所以在同一上下文中的任务越多，成本也就越低。
4. ReadAgent变体
当使用长文本时，用户可能会提前知道要解决的任务：在这种情况下，提要步骤可以在提示中包括任务描述，使得LLM可以更好地压缩与任务无关的信息，从而提高效率并减少干扰信息，即条件ReadAgent
更通用的任务设置下，在准备提要时可能不知道具体任务，或者可能知道提出的要点需要用于多个不同的任务，例如回答关于文本的问题等。
因此，通过排除注册步骤中的任务，LLM可以产生更广泛有用的提要，代价是减少压缩和增加干扰注意力的信息，即非条件ReadAgent。
这篇论文中只探讨了无条件设置，但在某些情况下，条件设置可能更有优势。
迭代提要（iterative gisting）
对于一段很长的事件历史，例如对话等，可以考虑通过迭代提要来进一步压缩旧记忆来实现更长的上下文，对应于人类的话，旧记忆更模糊。
实验结果
研究人员评估了ReadAgent在三个长上下文问答挑战中的长文档阅读理解能力：QuALITY、NarrativeQA和QMSum。
虽然ReadAgent不需要训练，但研究人员仍然选择在训练集上开发了一个模型并在验证、测试和/或开发集上进行了测试，以避免过拟合系统超参数的风险。
选用的模型为指令微调后的PaLM 2-L模型。
评估指标为压缩率（compression rate, CR），计算方法如下：
LLM评分器
NarrativeQA和QMSum都有一个或多个自由形式的参考回复，通常使用诸如ROUGE-F之类的语法匹配度量来评估。
除此之外，研究人员使用自动LLM评分器来评估这些数据集，作为人工评估的替代方法。
上面两个提示中，「严格LLM评分器提示」用于判断是否存在精确匹配，「许可LLM评分器提示」用于判断是否存在精确匹配或部分匹配。
基于此，研究人员提出了两个评价指标：LLM-Rating-1（LR-1）是一个严格的评估分数，计算所有示例中精确匹配的百分比；LLM-Rating-2（LR-2）计算精确匹配和部分匹配的百分比。
长上下文阅读理解
QuALITY
QuALITY是一个多选问答任务，每个问题包含四个答案，使用来自多个不同来源的文本数据。
实验结果显示，ReadAgent（查找1-5页）实现了最好的结果，压缩率为66.97%（即提要后上下文窗口中可以容纳3倍的token）。
当增加允许查找的最大页数（最多5页）时，性能会不断提高；在6页时，性能开始略有下降，即6页上下文可能会增加干扰信息。
NarrativeQA
在三个阅读理解数据集中，NarrativeQA的平均上下文长度最长，为了将gists放入上下文窗口，需要扩展页面的尺寸大小。
提要对Gutenburg文本（书籍）的压缩率为96.80%，对电影剧本的压缩率为91.98%
QMSum
QMSum由各种主题的会议记录以及相关问题或说明组成，长度从1,000字到26,300字不等，平均长度约为10,000字，其答案是自由形式的文本，标准的评估指标是ROUGE-F
可以看到性能随着压缩率的降低而提高，因此查找更多页面的技术往往比查找更少页面的技术做得更好。
还可以看到ReadAgentS大大优于ReadAgent-P（以及所有基线），性能改进的代价是检索阶段的请求数量增加了六倍。
本文转自 新智元 ，作者：新智元
标签
赞
收藏
回复
相关推荐
