推进医疗人工智能：评估 OpenAI 的 o1-Preview 模型并优化推理策略 原创

01、概述

近年来，人工智能在医疗领域的应用迎来了新的突破。传统上，高性能的专业领域模型需要大量的领域特定预训练，例如PubMedBERT和BioGPT。然而，随着GPT-4等通用大模型的崛起，这一模式正在被打破。尤其是像Medprompt这样的运行时引导策略（run-time steering），在无需重新训练模型的情况下，就能让通用模型在特定领域内达到媲美甚至超越专业模型的表现。

本文将带你深入了解Medprompt及其背后的运行机制，同时揭示OpenAI最新的o1-preview模型如何以“推理原生”的全新设计理念，推动AI在医疗领域的表现攀上新的高峰。

02、从专业到通用：大模型的范式转变

传统的领域特定模型：精准但局限

在过去，为了在医学等高专业性领域中取得优异表现，研究人员倾向于开发领域特定的语言模型。这些模型通过大量医学文献的预训练，能够很好地理解专业术语和上下文。例如：

• PubMedBERT：专为生物医学文本设计，在PubMed数据上预训练。
• BioGPT：专注于生命科学领域，为学术和临床任务提供支持。

虽然这些模型在各自的领域表现优异，但也存在明显的缺陷：训练和更新成本高，适应新任务的灵活性差。

通用模型的崛起：灵活与强大兼备

随着GPT-4等通用大模型的出现，情况发生了改变。这些模型在广泛的数据集上进行预训练，展现出强大的跨领域理解能力。值得注意的是，GPT-4在医学考试（如USMLE）中已超过许多专门模型的表现，这表明通用模型能够在保持灵活性的同时，提供高水平的专业能力。

03、Medprompt：提升通用模型的专业表现

在这个背景下，Medprompt应运而生。作为一种运行时引导策略，Medprompt通过动态提示增强了通用模型在医疗任务中的表现。

运行机制：如何在推理时提升性能？

Medprompt的核心在于三大技术：

• 链式推理（Chain-of-Thought, CoT）：通过引导模型逐步分解问题，帮助其进行逻辑推理。
• 动态少样本提示（Few-shot prompting）：在推理过程中，根据任务动态选择最相关的示例。
• 投票集成（Choice-shuffle ensembling）：通过多次运行模型并结合多数投票结果，显著提高预测准确性。

这种方法有效地缩小了通用模型与领域特定模型之间的差距。例如，在MedQA等医学基准测试中，Medprompt将误差率降低了近50%，而这一切无需对模型进行任何微调。

突破瓶颈：结合外部资源与元推理

为了进一步提升表现，Medprompt还引入了检索增强生成（RAG），确保模型在推理时能实时访问最新的医学信息。同时，通过元推理（Metareasoning），系统能更智能地分配计算资源，优化推理过程。

04、o1-preview模型：AI推理的新高度

在探索如何进一步提升大模型性能的过程中，OpenAI推出了o1-preview模型，这一新模型彻底改变了传统的推理方式。

推理原生：从根本上优化推理过程

与传统模型需要依赖外部提示不同，o1-preview在训练阶段就内嵌了推理能力。换句话说，它是“推理原生”的。这使得模型能够在推理过程中自动分解问题并提供逐步答案，而无需依赖Medprompt这样的提示策略。

研究显示，o1-preview在多个医学基准测试中超越了GPT-4，即便是后者在Medprompt的增强下也难以匹敌。这种内置推理能力使得模型在处理复杂、多语言任务（如JMLE-2024）时表现尤为突出。

成本与性能的权衡

虽然o1-preview在准确性上达到了新的巅峰，但其运行成本相对较高。这就引出了一个重要的策略性选择：成本与性能的平衡。在某些任务中，GPT-4o（优化版GPT-4）可能以更低的成本提供足够好的性能。

05、新挑战与未来展望

随着o1-preview在现有基准测试中接近性能天花板，研究人员呼吁开发更具挑战性的评估标准。这不仅有助于进一步探索模型的能力，也为推动AI在真实世界医疗场景中的应用提供了方向。

以下是值得关注的未来方向：

• 多模态数据整合：结合文本、图像、基因序列等多模态信息，进一步提升模型在临床诊断中的应用潜力。
• 动态任务适应：开发更智能的推理框架，让模型能在不同医疗任务之间自由切换。
• 实时学习与更新：确保模型能快速吸收新知识，应对快速变化的医学领域。

05、结语

从Medprompt到o1-preview，人工智能在医疗领域的进步令人振奋。它们不仅展现了大模型在专业领域的强大潜力，更为解决高风险任务中的关键问题提供了新思路。随着研究的深入，AI有望在医疗领域扮演越来越重要的角色，为患者、医生和整个医疗行业带来深远影响。

参考：

1. ​​https://www.microsoft.com/en-us/research/blog/advances-in-run-time-strategies-for-next-generation-foundation-models/​​
2. ​​https://arxiv.org/abs/2411.03590​​

本文转载自公众号Halo咯咯 作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/oegITaLxdiPFpciTvtQXBw​​