处女座 (Virgo)：基于文本指令微调的多模态慢思考推理系统

1. 引言

近年来，随着深度学习技术的飞速发展，人工智能 (AI) 在诸多领域取得了突破性进展。然而，传统的深度学习模型在处理需要复杂推理的任务时仍然面临挑战。例如，在面对数学题、逻辑谜题或科学问题时，简单地依靠模式识别和函数拟合难以获得令人满意的结果。为了解决这个问题，研究人员开始探索将深度学习与符号推理相结合，从而赋予 AI 系统更强的推理能力，即慢思考推理。

慢思考推理强调对问题进行深入分析和逐步求解，而非仅仅依赖直觉或快速联想。这种方法更接近人类的认知过程，也更适用于需要逻辑推理、知识应用和问题解决的复杂场景。慢思考推理的应用场景非常广泛，包括但不限于：

• 科学发现：辅助科学家进行数据分析、假设验证和新知识发现。
• 自动解题：自动求解数学题、逻辑谜题和编程问题。
• 代码生成：根据自然语言描述生成高质量、可解释的代码。

多模态慢思考推理将慢思考推理的概念扩展到多模态领域，旨在使 AI 系统能够处理图像、文本、代码、表格等多种模态的信息，并进行跨模态的逻辑推理和问题解决。然而，多模态慢思考推理也面临着诸多挑战：

• 多模态数据：如何有效地融合和理解来自不同模态的信息？
• 推理过程：如何设计能够处理多模态信息和复杂推理过程的模型？
• 模型结构：如何构建能够进行跨模态推理和知识应用的模型架构？

为了应对这些挑战，百川智能和中国人民大学的研究人员在论文《Virgo: A Preliminary Exploration on Reproducing o1-like MLLM》提出了一种简单而有效的方法，将慢思考能力赋予多模态大语言模型 (MLLM)处女座 (Virgo)。百川智能是一家专注于人工智能研究与开发的创新公司，致力于打造更智能、更可信、更人性化的 AI 系统。其核心思想是利用文本长程思维数据对 MLLM 进行微调，从而使模型能够模仿人类的推理过程，进行多模态的慢思考推理。

2. 相关工作

2.1 慢思考大语言模型 (LLM)

近年来，研究人员提出了一系列方法来增强大型语言模型 (LLM) 的推理能力。其中，思维链 (Chain-of-Thought, CoT) 是一种被广泛认可的有效方法。CoT 通过在 LLM 的输入中添加中间推理步骤，引导模型进行逐步推理，从而提高其在复杂推理任务上的性能。

OpenAI 提出的 "o1" 模型是慢思考 LLM 的一个典型代表。该模型在诸多基准测试中展现出强大的推理能力，能够解决复杂的数学题、逻辑谜题和代码生成问题。此外，DeepSeek R1、Qwen QwQ 等模型也展现了慢思考 LLM 在不同领域的应用潜力。

2.2 多模态大语言模型 (MLLM)

多模态大语言模型 (MLLM) 旨在将 LLM 的能力扩展到多模态领域。通常，MLLM 包括三个主要组件：

• 视觉编码器：用于提取图像等视觉信息的特征表示。
• LLM：用于处理文本信息和进行逻辑推理。
• 跨模态连接器：用于连接视觉编码器和 LLM，实现跨模态的信息交互。

MLLM 在视觉问答、图像描述生成、多模态对话等任务中取得了显著成果。然而，现有的 MLLM 在处理需要复杂推理的任务时仍然存在不足。

2.3 指令微调

指令微调是一种通过指令数据对 LLM 和 MLLM 进行微调的方法。指令数据通常包含一个任务描述、一些示例和一个期望的输出。通过学习大量的指令数据，模型可以更好地理解人类的意图，并生成更符合要求的输出。

指令微调已被证明可以有效提升 LLM 和 MLLM 的泛化能力和可控性。通过使用不同的指令数据，可以使模型适应不同的任务和领域。

3. 论文方法

论文的核心思想是利用文本长程思维数据对 MLLM 进行微调，从而使模型能够进行多模态的慢思考推理。作者们假设慢思考能力与语言模型组件密切相关，因此可以通过文本指令迁移来 eliciting  MLLM 的慢思考能力。

论文提出了两种具体的 MLLM 慢思考方案：

3.1 文本指令迁移

• 文本长程思维数据收集：从 DeepSeek-R1-Lite-Preview 和 QwQ-32B-preview 两个模型中收集了约 5K 条文本长程思维指令数据，涵盖数学、科学、代码、谜题等多个领域。这些指令数据包含完整的推理过程和最终答案，并使用特殊的符号进行标记，例如<|begin_of_thought |>、<|end_of_thought |>、< begin_of_solution |>、< end_of_solution|>。
• 文本指令微调：选择 Qwen2-VL-72B-Instruct 作为基础模型，并冻结其视觉编码器的参数。使用 AdamW 优化器，学习率为 7e-6，批大小为 128，训练 10 个 epoch。

3.2 慢思考 MLLM 蒸馏

• 视觉长程思维数据收集：从 LLaVA-One Vision 数据集中选择了 8 个数据集，涵盖几何、表格、图表、对象等多个领域，共计约 7K 条数据。每个数据样本包含一个问题、一张图像和一个答案。使用 QVQ 模型和 Virgo 模型进行 rollout，生成每个问题的推理过程。
• 视觉指令微调：冻结视觉编码器的参数，只训练 LLM 和跨模态连接器。为了进行 self-distillation，作者们设计了一种多阶段微调策略：首先使用文本指令数据对 Qwen2-VL-72B-Instruct 进行微调，然后使用微调后的模型进行 self-distillation，生成视觉长程思维数据，最后使用这些数据再次对模型进行微调。

4. 实验结果与分析

为了验证方法的有效性，作者在四个挑战性的基准上进行了实验：MathVerse、MathVision、OlympiadBench 和 MMMU。这些数据集涵盖了各种类型的多模态推理问题，包括数学题、图表分析、图像理解等，可以全面评估模型的慢思考能力。

4.1 实验设置

• 评估基准：

MathVerse：包含来自不同来源的 2612 道多学科数学题，例如代数、几何、微积分等。

MathVision：包含来自 established 数学竞赛的 3040 道高质量数学题，难度较高。

OlympiadBench：包含 8476 道用于奥林匹克级别数学和物理竞赛的双语多模态问题， 考察模型的跨语言和跨模态推理能力。

MMMU：包含 11500 道涵盖 30 个学科和 183 个子领域的问题，例如物理、化学、生物、历史、地理等，是一个综合性多模态推理数据集。

• 对比模型：
• 慢思考 MLLM：OpenAI "o1" 和 QVQ-72B-preview，是目前最先进的慢思考多模态模型。
• 通用 MLLM：GPT-40、Gemini-Pro 和 Claude-3.5-Sonnet，是目前最先进的通用多模态模型，但不具备专门的慢思考能力。
• 基础模型：Qwen2-VL-72B-Instruct，是一个开源的多模态大语言模型，作者在其基础上进行微调，构建 Virgo 模型。

4.2 主要结果

实验结果表明，Virgo 模型在四个基准测试中均取得了优异的性能，证明了基于文本指令微调的多模态慢思考方案的有效性。具体来说：

• 整体性能: Virgo 模型在所有基准测试中的性能都显著优于基础模型 Qwen2-VL-72B-Instruct，并且与 OpenAI "o1" 和 QVQ-72B-preview 等先进的慢思考 MLLM 的性能相当，甚至在某些指标上超过它们。
• 文本指令迁移: 使用文本长程思维数据进行微调的效果优于使用从慢思考 MLLM 中蒸馏得到的视觉指令数据，这表明慢思考能力可以通过文本指令有效地迁移到多模态领域。
• 模型规模: 模型规模对性能有显著影响，72B 模型的性能明显优于 7B 模型，这说明更大的模型具有更强的慢思考能力。

4.3 进一步分析

为了更深入地理解模型的行为，作者进行了一系列分析实验，探索了任务难度、指令长度、指令规模、视觉指令难度等因素对模型性能的影响。

• 任务难度: 慢思考推理对较难的任务的性能提升更明显，这表明慢思考方法更适用于需要复杂推理的场景。
• 指令长度: 中等长度的指令数据效果最佳，过短的指令可能无法提供足够的推理步骤，而过长的指令可能引入噪声，影响模型学习。
• 指令规模: 增加文本指令的数量可以提升模型性能，这说明更多的数据可以帮助模型更好地学习慢思考推理模式。
• 视觉指令难度: 不同难度的视觉指令对模型性能影响不大，这可能是因为当前的视觉指令生成方法还不够完善，无法有效控制指令的难度。

4.4 案例分析

作者还通过具体的案例分析，展示了 Virgo 模型的优势和不足。

• 成功案例: Virgo 模型能够进行详细的图像描述和自我反思，例如在解答一道几何题时，它可以准确识别图形中的关键信息，并进行逐步的推理和验证，最终得出正确答案。

• 失败案例: Virgo 模型缺乏对感知结果的反思，例如在分析图表时，如果模型对图表中的数据产生了误读，即使进行了推理，也可能得出错误的结论。

5. 结论与未来方向

5.1 主要结论

• 通过使用文本长格式思维数据简单地微调 MLLM，一个有能力的 MLLM 可以表现出显著增强的慢思考能力。
• 对四个具有挑战性的基准进行了广泛的实验，结果表明，与行业推理系统相比，这种方法实现了极具竞争力的性能。
• 研究了文本指令数据的不同因素的影响，例如数据量和长度分布。

5.2 未来AGI的可能

作者认为，当前构建多模态慢思考系统的尝试是初步的。在未来的工作中，AGI的目标应该是扩展具有挑战性的多模态问题的来源，并设计更有原则的方法来增强这种能力。具体来说，未来的研究方向包括：

• 构建更具挑战性的多模态数据集: 目前的多模态推理数据集大多集中在数学和科学领域，未来需要构建更多涵盖不同领域和任务类型的数据集，例如包含代码、表格、图形等多种模态信息的数据集，以及需要进行复杂逻辑推理和知识应用的数据集。
• 设计更精细的 MLLM 慢思考训练方法: 除了文本指令微调，还可以探索其他训练方法，例如结合强化学习，对模型的推理路径进行优化，使其能够更高效地找到问题的解决方案。
• 提升 MLLM 在感知和推理方面的综合能力: 现有的 MLLM 在感知和推理方面都存在一定的局限性，未来需要进一步提升模型的感知能力，例如识别图像中的细粒度信息，以及推理能力，例如进行多跳推理和常识推理。
• 探索慢思考 MLLM 与其他技术的结合: 可以将慢思考 MLLM 与其他技术相结合，例如知识图谱、知识推理等，从而进一步提升模型的推理能力和问题解决能力。

6. 论文引发的思考

6.1 慢思考系统与其他技术的结合

慢思考系统并非孤立的技术，它可以与其他 AI 技术相结合，优势互补，从而进一步提升其推理能力和问题解决能力。

• 知识图谱: 知识图谱以结构化的形式存储了大量的知识和概念之间的关系，可以为慢思考系统提供丰富的背景知识和推理规则。将知识图谱融入慢思考系统，可以使其能够进行更深入的知识应用和逻辑推理，例如在解答数学题时，可以利用知识图谱中的数学公式和定理进行推理；在进行医疗诊断时，可以利用知识图谱中的医学知识进行分析。
• 强化学习: 强化学习是一种通过试错来学习最佳策略的方法，可以用于优化慢思考系统的推理路径和策略。例如，可以将推理过程中的每一步决策看作一个动作，将最终的推理结果的正确性作为奖励信号，通过强化学习算法来学习如何选择最佳的推理路径，从而使慢思考系统能够更高效地解决问题。
• 多模态预训练: 多模态预训练旨在学习不同模态信息之间的关联和表征，可以提升 MLLM 对多模态信息的理解能力，为慢思考推理提供更丰富的语义表示。例如，通过多模态预训练，MLLM 可以更好地理解图像和文本之间的关联，从而在进行视觉问答时，能够更准确地理解问题并找到答案。

6.2 慢思考系统在实际场景中的应用

慢思考系统在教育、科研、代码生成等领域具有广阔的应用前景，可以帮助人们更高效地学习、工作和解决问题。

• 教育辅助: 慢思考系统可以用于自动解题、personalized learning 等，帮助学生更好地学习和掌握知识。例如，可以根据学生的学习情况，生成个性化的学习计划和练习题，并提供详细的解题思路和步骤，帮助学生理解和掌握知识点。
• 科学研究: 慢思考系统可以辅助科学家进行数据分析和假设验证，加速科学发现的进程。例如，可以帮助科学家分析大量的实验数据，发现其中的规律和模式，并生成科学假设和理论，从而推动科学研究的进展。
• 代码生成: 慢思考系统可以根据自然语言描述生成高质量、可解释的代码，提高软件开发的效率和质量。例如，可以将用户的需求描述转化为代码，并生成代码的解释文档，从而降低软件开发的难度，提高代码的可读性和可维护性。

6.3 慢思考系统对人工智能伦理的影响

随着慢思考系统的能力不断提升，其对人工智能伦理的影响也日益凸显，需要我们认真思考和应对。

• 可解释性: 慢思考系统能够提供推理过程，增强模型的可解释性，有助于人们理解 AI 的决策过程。然而，慢思考系统的推理过程可能非常复杂，如何将其转化为人类能够理解的形式，仍然是一个挑战。
• 安全性: 如何确保慢思考系统做出安全可靠的决策，避免产生负面影响，是一个亟待解决的问题。例如，在医疗诊断、自动驾驶等领域，慢思考系统的决策可能会对人的生命安全产生重大影响，因此需要对其进行严格的测试和验证，确保其安全性。
• 公平性: 如何避免慢思考系统产生偏见和歧视，确保其公平公正地服务于所有人，也是一个重要的伦理问题。例如，在招聘、贷款等领域，慢思考系统可能会受到数据偏差的影响，从而对某些群体产生歧视，因此需要采取措施来消除数据偏差，确保模型的公平性。

总而言之，慢思考推理是人工智能领域的一个重要发展方向，它将推动 AI 系统朝着更智能、更可信、更人性化的方向发展。论文提出的基于文本指令微调的 MLLM 慢思考方案具有重要的研究价值和应用潜力，可以为构建更强大的多模态 AI 系统提供了新的思路。

参考论文：rXiv:2501.01904v1 [cs.CV] 3 Jan 2025

本文转载自 ​​上堵吟​​，作者：  ​​上堵吟​​