科学家们的目标是发现能够准确描述实验数据的有意义的公式。自然现象的数学模型可以根据领域知识手动创建，或者也可以使用机器学习算法从大型数据集自动创建。学界已经研究了表示相关先验知识与相关函数模型合并的问题，认为寻找与一般逻辑公理先验知识一致的模型，是一个悬而未决的问题。
IBM 研究团队以及三星 AI 团队的研究人员开发了一种方法「AI-Descartes」，通过将逻辑推理与符号回归相结合，能够从公理知识和实验数据中对自然现象模型进行原则性推导。
该研究以「Combining data and theory for derivable scientific discovery with AI-Descartes」为题，于 2023 年 4 月 12 日发布在《Nature Communications》。
人工神经网络 (NN) 和统计回归通常用于自动发现数据中的模式和关系。NN 返回「黑盒」模型，其中底层函数通常仅用于预测。在标准回归中，函数形式是预先确定的，因此模型发现相当于参数拟合。在符号回归（SR）中，函数形式不是预先确定的，而是由给定列表中的运算符（例如，+、-、× 和 ÷）组成，并根据数据计算得出。
SR 模型通常比 NN 模型更「可解释」，并且需要的数据更少。因此，为了从实验数据中以符号形式发现自然法则，SR 可能比 NN 或固定形式回归更有效；NN 与 SR 的集成一直是神经符号 AI 近期研究的主题。SR 的一个主要挑战是从许多适合数据的模型中识别出具有科学意义的模型。科学家将有意义的函数定义为平衡准确性和复杂性的函数。然而，对于给定的数据集存在许多这样的表达式，并且并非所有表达式都与已知的背景理论一致。
另一种方法是从已知的背景理论开始，但目前还没有实用的推理工具可以从一组已知的公理中生成与实验数据一致的定理。自动定理证明器（ATP）是使用最广泛的推理工具，它可以为给定逻辑理论证明猜想。计算复杂性是 ATP 面临的主要挑战；对于某些类型的逻辑，证明猜想是不可判定的。
此外，当涉及算术和微积分运算符时，使用形式推理工具从逻辑理论推导模型尤其困难。机器学习技术已被用于提高 ATP 的性能，例如，通过使用强化学习来指导搜索过程。
可推导的模型不仅要在经验上准确，而且它们应该是可预测的、有洞察力的。
IBM 研究团队以及三星 AI 团队的研究人员，试图通过将一种新颖的基于数学优化的 SR 方法与推理系统相结合，来获得此类模型。这产生了一个端到端的发现系统「AI-Descartes」，它通过 SR 从数据中提取公式，然后从一组公理中提供公式的可推导性的证明，或提供不一致的证明。当模型可证明不可推导时，研究人员提出了表明公式与可推导公式的接近程度的新度量，并且使用他们的推理系统计算这些度量的值。
图示：系统概述。（来源：论文）
在早期将机器学习与推理相结合的工作中，科学家使用基于逻辑的描述来约束生成图像的 GAN 神经架构的输出。也有团队结合机器学习工具和推理引擎，来搜索满足预先指定约束的函数形式。这是用新点扩充初始数据集，从而提高学习方法的效率和最终模型的准确性。也有团队还利用先验知识来创建额外的数据点。然而，这些研究仅考虑对要学习的函数形式的约束，并没有包含一般背景理论公理（描述现象中涉及的其他定律和未测量变量的逻辑约束）。
该论文的第一作者，三星 AI 的研究科学家 Cristina Cornelio 表示，AI-Descartes 提供了一些优于其他系统的优势，但它最显著的特点是它的逻辑推理能力。如果有多个候选方程可以很好地拟合数据，系统会识别哪些方程最适合背景科学理论。推理能力也使该系统有别于 ChatGPT 等「生成式 AI」程序，后者的大型语言模型逻辑能力有限，有时还会搞乱基础数学。
「在我们的工作中，我们正在将第一性原理方法与机器学习时代更常见的数据驱动方法相结合，这种方法几个世纪以来一直被科学家用来从现有背景理论中推导出新公式。」Cornelio 说， 「这种结合使我们能够利用这两种方法，并为广泛的应用创建更准确和有意义的模型。」
AI-Descartes 这个名字是对 17 世纪数学家和哲学家 René Descartes 的致敬，他认为自然世界可以用一些基本的物理定律来描述，逻辑推论在科学发现中发挥了关键作用。
图示：对系统实施的科学方法的解释。（来源：论文）
该团队的研究人员已经证明，将逻辑推理与符号回归相结合，在获得有意义的物理现象符号模型方面有重要价值；因为它们与背景理论一致，并且在明显大于实验数据的领域中具有很好的概括性。回归和推理的综合产生了比单独通过 SR 或逻辑推理更好的模型。
单个系统组件的改进或替换以及新模块的引入，例如溯因推理或实验设计将扩展整个系统的功能。推理和回归的更深入集成可以帮助合成数据驱动和基于第一性原理的模型，并导致科学发现过程的革命。发现与先验知识一致的模型将加速科学发现，并超越现有的发现范式。
该团队使用模型对开普勒行星运动第三定律、爱因斯坦相对论时间膨胀定律和朗缪尔吸附理论进行了推导；研究表明，当使用逻辑推理来区分在数据上具有相似误差的候选公式时，模型可以从少量数据点中发现支配规律。
图示：相关集合及其距离的可视化。（来源：论文）
「在这项工作中，我们需要人类专家以正式的、计算机可读的方式写下背景理论的公理是什么，如果人类遗漏了任何或弄错了其中的任何一个，系统将无法工作。」UMBC 化学、生物化学和环境工程助理教授 Tyler Josephson 说，「在未来，我们也希望将这部分工作自动化，这样我们就可以探索更多的科学和工程领域。」
最终，该团队希望他们的 AI-Descartes 能够像真人科学家一样激发一种富有成效的新科学方法。「我们工作中最令人兴奋的方面之一是更够在科学研究方面获得重大进展的潜力。」Cornelio 说。
论文链接：https://www.nature.com/articles/s41467-023-37236-y
相关报道：https://techxplore.com/news/2023-04-ai-scientist-combines-theory-scientific.html
