人类通常很擅长识别何时出错，但人工智能系统则不然。根据一项新的研究，由于存在百年历史的数学悖论，人工智能通常会受到固有的限制。
像一些人一样，人工智能系统的自信程度往往远远超过他们的实际能力。就像一个过度自信的人一样，许多人工智能系统不知道自己什么时候犯了错误。有时，人工智能系统在犯错时意识到比产生正确结果更困难。
剑桥大学和奥斯陆大学的研究人员表示，不稳定性是现代人工智能的致命弱点，一个数学悖论显示了人工智能的局限性。神经网络是人工智能中最先进的工具，大致模仿了大脑中神经元之间的联系。研究人员表明，存在稳定和准确的神经网络存在的问题，但没有算法可以产生这样的网络。只有在特定情况下，算法才能计算出稳定准确的神经网络。
研究人员提出了一种分类理论，描述了何时可以训练神经网络以在某些特定条件下提供可信赖的 AI 系统。他们的结果发表在《美国国家科学院院刊》上。
深度学习是用于模式识别的领先人工智能技术，一直是众多令人窒息的头条新闻的主题。示例包括比医生更准确地诊断疾病或通过自动驾驶预防交通事故。然而，许多深度学习系统是不可信且容易被愚弄的。
剑桥大学应用数学和理论物理系的合著者安德斯·汉森(Anders Hansen)教授说：“许多人工智能系统不稳定，它正在成为一个主要问题，尤其是它们越来越多地用于疾病诊断或自动驾驶汽车等高风险领域。” . “如果人工智能系统被用于一旦出错会造成真正伤害的领域，那么对这些系统的信任必须是重中之重。”
研究人员发现的悖论可以追溯到 20 世纪的两位数学巨人：艾伦·图灵和库尔特·哥德尔。20世纪初，数学家试图证明数学是科学的终极一致语言。然而，图灵和哥德尔展示了数学核心的一个悖论：无法证明某些数学陈述是真还是假，一些计算问题无法用算法解决。而且，只要一个数学系统足够丰富，可以描述我们在学校学习的算术，它就无法证明其自身的一致性。
几十年后，数学家史蒂夫·斯梅尔(Steve Smale)提出了 21 世纪 18 个未解决的数学问题的清单。第 18个问题涉及人类和机器的智能极限。
“图灵和哥德尔首先发现的悖论现在已经被 Smale 和其他人带到了人工智能的世界，”应用数学和理论物理系的合著者 科尔布鲁克(Matthew Colbrook) 博士说。“数学存在固有的基本限制，同样，人工智能算法也无法解决某些问题。”
研究人员说，由于这个悖论，在某些情况下可以存在良好的神经网络，但无法建立一个本质上值得信赖的神经网络。“无论你的数据多么准确，你永远无法获得构建所需神经网络的完美信息，”来自奥斯陆大学的合著者 Vegard Antun 博士说。
无论训练数据量如何，都无法计算出良好的现有神经网络。无论算法可以访问多少数据，它都不会产生所需的网络。“这类似于图灵的论点：无论计算能力和运行时间如何，都存在无法解决的计算问题，”汉森说。
研究人员表示，并非所有人工智能都存在固有缺陷，但它仅在特定领域使用特定方法才可靠。“问题在于你需要保证的领域，因为许多人工智能系统都是一个黑匣子，”科尔布鲁克说。“在某些情况下，人工智能犯错是完全可以的，但它需要诚实地对待它。这不是我们在许多系统中看到的——没有办法知道他们什么时候更有信心或没有信心决定。”
“目前，人工智能系统有时会对它们产生一些猜测，”汉森说。“你尝试一些东西，如果它不起作用，你添加更多的东西，希望它能起作用。在某些时候，你会厌倦没有得到你想要的东西，你会尝试不同的方法。重要的是“了解不同方法的局限性。我们处于人工智能的实际成功远远领先于理论和理解的阶段。需要一个理解人工智能计算基础的程序来弥合这一差距。”
“当 20世纪的数学家发现不同的悖论时，他们并没有停止研究数学。他们只需要找到新的路径，因为他们了解局限性，”科尔布鲁克说。“对于人工智能来说，可能需要改变路径或开发新路径，以构建能够以可信赖和透明的方式解决问题的系统，同时了解它们的局限性。”
研究人员的下一个阶段是结合近似理论、数值分析和计算基础，以确定哪些神经网络可以通过算法计算，哪些可以稳定可信。正如哥德尔和图灵提出的关于数学和计算机局限性的悖论导致了丰富的基础理论——描述了数学和计算的局限性和可能性——也许类似的基础理论可能会在人工智能中开花结果。
