大型语言模型（LLMs）如何能够从长达数十年的符号 AI 项目中受益

将大型语言模型（LLMs）应用于实际应用的主要障碍之一是它们的不可预测性、缺乏推理能力和难以解释性。如果无法解决这些挑战，LLMs将无法成为在关键环境中可信赖的工具。在最近的一篇论文中，认知科学家GaryMarcus和人工智能先驱Douglas Lenat深入探讨了这些挑战，他们将这些挑战归纳为了确保通用人工智能的16个愿望清单。Tech Talks 的创始人 Ben Dickson 将其整理发表了一篇名为" How LLMs could benefit from a decades’ long symbolic AI project"《大型语言模型（LLMs）如何能够从长达数十年的符号 AI 项目中受益》的文章，我们特将该内容编译出来和各位客户、合作伙伴朋友分享。

在最近的一篇论文中，认知科学家Gary Marcus和人工智能先驱Douglas Lenat深入探讨了大型语言模型（LLMs）无法成为在关键环境中可信赖的工具的挑战，他们将这些挑战归纳为了确保通用人工智能的16个愿望清单。他们认为，所需的能力主要归结为“知识、推理和世界模型”，而这些方面都不是大型语言模型所擅长的。他们指出，LLMs缺乏人类拥有的缓慢、深思熟虑的推理能力。相反，它们更类似于我们快速而无意识的思考方式，这可能导致不可预测的结果。

Marcus和Lenat提出了一种可能“理论上能够解决”这些限制的替代人工智能方法：“教育以明确知识片段和经验法则为基础的人工智能，使推理引擎能够自动推导出所有这些知识的逻辑蕴涵关系。”他们认为，LLM研究可以从 Cyc 获得启发并受益，Cyc是Lenat四十多年前首创的一种符号 AI 系统，并建议“任何可信赖的通用人工智能都需要将这两种方法，即LLM方法和更形式化的方法，进行混合。”

注：LLMs擅长自然语言处理，但在推理和常识方面存在一定的挑战。相反，Cyc以其深厚的知识库和推理能力闻名，可用于生成大量基于事实的陈述，有助于训练LLMs更注重常识和正确性。通过将LLMs训练成能够理解CycL语言，可以加强两个系统之间的交流，有助于提供新知识，并降低维护Cyc的成本。

LLs缺少什么

在他们的论文中，Lenat和Marcus表示，尽管人工智能不需要以与人类完全相同的方式思考，但它必须具备16种能力，以便在“错误成本高昂的情况下”受到信任。LLMs在大多数这些领域都存在困难。例如，人工智能应该能够“回顾其提供的任何答案背后的推理过程”，并追踪其推理链中每一条知识和证据的来源。虽然一些提示技术可以从LLMs中引出推理的外观，但这些能力充其量也是摇摆不定的，经过一些探讨后可能会变得矛盾不一致。

Lenat和Marcus还讨论了演绎、归纳和拟因推理作为能够使LLMs调查其自身决策、发现陈述中的矛盾以及在逻辑上无法得出结论时做出最佳决策的能力的重要性。作者还指出，类比是当前LLMs中重要缺失的一部分，人类在对话中经常使用类比来传达信息或使复杂主题容易理解。

心智理论

另一个重要的能力是“心智理论”，这意味着人工智能应该具备对其对话对象的知识和意图的模型，以引导其互动，并能够在继续学习用户的同时更新其行为。

Marcus和Lenat还强调了人工智能需要具备自身模型的必要性。它必须理解“它自己，即AI是什么，当前正在做什么以及为什么”，而且还必须具备“对自己知道什么、不知道什么以及自己能力的良好模型，以及当前与用户的‘契约’是什么”。

可信赖的人工智能系统必须能够在决策中包含上下文，并能够区分在当前情境中哪种行为或响应是可接受的，哪种是不可接受的。上下文可以包括环境、任务和文化等因素。

Cyc的创作者学到了什么

Lenat于1984年创建了Cyc，它是一种基于知识的系统，提供了一个全面的本体论和知识库，人工智能可以用来推理。与当前的人工智能模型不同，Cyc建立在对现实世界知识的明确表示基础上，包括常识、事实和经验法则。它包含了数千万条由人类输入的信息，这些信息可以被软件用于快速推理。

一些科学家将Cyc描述为失败和死胡同，也许它最重要的局限性之一是依赖手工劳动来扩展其知识库。相比之下，LLMs已经能够随着数据和计算资源的可用性而扩展。但迄今为止，Cyc已经实现了几个成功的应用，并为人工智能社区带来了重要的教训。

在最初的几年里，Cyc的创作者意识到拥有一种富有表现力的表示语言是不可或缺的。“也就是说，可信赖的通用人工智能需要能够表示人们彼此之间说和写的几乎任何内容，”Lenat和Marcus写道。

表达主张和规则

到了20世纪80年代晚期，Cyc的创作者开发了CycL，这是一种用来表达人工智能系统主张和规则的语言。CycL已经被构建为输入推理系统的一部分。尽管Cyc拥有数千万条手工编写的规则，但它可以在仅进行一次推理步骤的情况下“生成数百亿个新的结论，这些结论都是基于它已经知道的内容而得出的，”作者写道。“仅仅再经过几个推理步骤，Cyc就可以得出数以万亿计的新默认真实陈述。”

作者认为，创建一种用于知识表示的富有表现力的语言，使之能够对事实进行推理，不是可以通过蛮力捷径省略的事情。他们批评了目前训练LLMs使用大量原始文本数据的方法，希望它们会逐渐发展自己的推理能力。在日常交流中，人们忽略的大部分隐含信息在这样的文本语料库中是缺失的。因此，LLMs将会学会模仿人类语言，而无法对自己所说的内容进行健壮的常识推理。

将Cyc和LLMs融合在一起

Lenat和Marcus承认Cyc和LLMs都各自存在局限性，一方面，Cyc的知识库不够深入和广泛，它的自然语言理解和生成能力不如Bard和ChatGPT出色，而且它无法像最先进的LLMs一样快速推理。另一方面，“目前基于LLM的聊天机器人更多地是在记忆和宣扬而不是理解和推断，”科学家们写道。“在论文中列出的16种能力中，它们在某些方面表现出色，但在大多数方面还有改进的空间。”

作者提出了一种知识丰富、推理丰富的象征性系统（例如Cyc）与LLMs之间的协同作用。他们建议这两种系统可以共同解决“幻觉”问题，即LLMs发表的陈述虽然似乎合理但事实上是错误的。例如，Cyc和LLMs可以相互交叉审查和质疑对方的输出，从而降低幻觉的可能性。这尤其重要，因为大部分常识知识没有明确写在文本中，因为它是普遍理解的。Cyc可以利用其知识库作为生成这种隐含知识的来源，而这种知识在LLMs的训练数据中没有记录。

解释输出的知识和推理

作者建议利用Cyc的推理能力，基于其知识库中的明确信息生成数十亿个“默认真实陈述”，这些陈述可以作为训练未来LLMs更偏向常识和正确性的基础。此外，Cyc可以用于事实核查输入到LLM进行训练的数据，并过滤掉任何虚假信息。作者还建议“Cyc可以利用其对输入文本的理解添加一个语义前馈层，从而扩展LLM的训练内容，并进一步使LLM更加偏向真实和逻辑蕴涵。”

通过这种方式，Cyc可以为LLMs提供知识和推理工具，逐步解释它们的输出，增强透明度和可靠性。另一方面，LLMs可以被训练来将自然语言句子翻译成CycL，这是Cyc理解的语言。这可以使这两个系统进行通信，并有助于以较低的成本生成新的知识。

混合AI

Marcus表示，他支持将神经网络和符号系统结合在一起的混合人工智能系统。将Cyc和LLMs结合起来可以是实现混合人工智能系统愿景的方式之一。

作者总结道：“多个世代以来，已经开发出了两种非常不同类型的人工智能，每一种都已经足够先进，可以独立应用，而且确实正在独立应用；但这两种类型有机会一起工作，也许还可以与概率推理和处理不完整知识的其他进展结合使用，使我们更进一步朝着值得我们信任的通用人工智能迈进一步。”

论文地址：https://arxiv.org/abs/2308.04445

本文转载自​​MoPaaS魔泊云​​，作者： Ben Dickson