一、结论写在前面论文标题:DistillingSystem2intoSystem1论文链接:https:arxiv.orgpdf2407.06023v2LLMs在推理过程中可以额外消耗计算资源来生成中间思维,这有助于产生更好的最终响应。自思维链以来,已经提出了许多此类系统2技术,例如重述与响应(RephraseandRespond)、系统2注意力(System2Attention)和分支解决合并(BranchSolveMerge)。论文研究了自监督方法(selfsupervised),将系统2技术的高质量输出“编译...