译者 | 布加迪
审校 | 重楼
我们几乎每天都会听到关于更广泛地成功实施AI工具的故事。随着ChatGPT、Midjourney及其他模型向公众开放，越来越多的人开始在日常生活中依赖AI。
虽然机器学习算法很明显能够满足更具挑战性的需求，但它们还不够完美。AI频繁出现的幻觉问题阻碍它们成为人类最可靠的替代者。虽然对于普通用户来说，AI错误只是一笑了之的小故障，但对于业务流程来说，这种不可预测性可能导致各种后果，轻则失去客户信任，重则官司缠身。
一些国家已开始起草有关AI模型的法规，以提供使用和适用性方面的框架。不妨弄清楚神经网络为何、如何开始产生幻觉，以及如何尽量避免这个问题。
什么是AI幻觉?
虽然有时我们无法确定AI错误的原因，但幻觉通常来源于生成式系统创建文本的方式。AI在响应用户的查询时，根据一系列之前的数据给出一组可能的单词。一些单词跟在其他单词之后的可能性不是确保最后一句话准确的可靠方法。AI可以拼凑出听起来似乎合理但不一定准确的术语——在人类看来，这些术语可能看起来完全是无稽之谈。一个例子是向ChatGPT询问哪些国家有匹配和不匹配的结算市场。虽然它能够提供“连续净结算”(CNS)作为匹配结算系统的例子，但我对系统所在的国家(本例中是美国)感兴趣，提示在这里生成了错误的输出。
然而，有时检测AI幻觉可能来得比较棘手。虽然一些错误很明显，但其他错误比较微妙，可能不会被人注意到，当输出是自动处理的或者由在该领域专业知识有限的人处理时尤为如此。未被发现的AI问题可能会导致不可预见、不想要的后果。在拥有准确可靠信息至关重要的领域尤其如此。此外，一个提示越专门化，AI模型的准确性通常可能因缺乏它可能参阅的支持性补充材料而有所不同。上面的CNS例子就是一个典例;我无法通过谷歌搜索找到国家列表，希望ChatGPT可以提供一份整合的列表，但后者面临类似的障碍。
以下是因AI幻觉而出现的几类常见问题：
- 不准确的决策：AI幻觉可能导致不正确的决策和诊断，特别是在医疗保健或信息安全等准确度至关重要的领域，对个人和企业都是有害的。
- 歧视性和冒犯性的结果：幻觉可能导致生成歧视性或冒犯性的结果，这可能会损害组织的声誉，并导致道德和法律问题。
- 不可靠的分析：如果AI生成不准确的数据，它可能导致不可靠的分析结果。组织可能会根据不正确的信息做出决策，结果可能付出高昂的代价。有时数据可能过时，一个典例就是ChatGPT的免费版本，它只保存到2022年的数据，因此从中收集的数据可能不可靠。
- 伦理和法律问题：由于幻觉，AI模型可能会泄露敏感信息或生成冒犯性内容，从而导致法律问题。
- 错误信息：生成虚假信息会给公司和最终用户带来各种问题，比如破坏信任、伤害或负面影响公众舆论。
为什么LLM会产生幻觉?
AI幻觉是一个复杂的问题，用户和开发人员都不完全清楚其原因。以下是可能导致或促成幻觉的几个关键因素：
- 训练数据不完整或有偏差。如果训练数据集有限及/或提示未全覆盖可能的场景，模型可能无法充分响应查询。如果用于训练AI的数据含有偏差，模型输出也会有这样的偏差。
- 过度训练和缺乏上下文。使用特定数据过度训练的模型可能会丧失对新的、不可预见的情形做出适当响应的能力，尤其是在缺乏上下文信息的情况下。建议将数据集分为三种类型：训练数据、验证数据和测试数据，这种划分确保了模型面对测试模型和样本数据之外的数据都有上佳的表现。
- 误解或不适当的模型参数大小。模型参数大小不当可能会导致不可预测的AI行为，特别是在复杂查询或不寻常情形下。
- 不清楚的提示。用户使用时，模棱两可或过于笼统的用户查询可能导致不可预测或不相关的响应。
如何避免幻觉?
重要的是要记住，LLM就像“黑盒子”——就连数据科学家也无法完全遵循生成过程并预测输出。这就是为什么无法百分之百保护贵公司不受AI幻觉的影响。目前，使用AI模型的公司需要专注于预防、检测和尽量减少AI幻觉。以下是维护机器学习模型的几个技巧：
- 彻底清理和准备用于训练和调整AI模型的数据。这不仅需要删除不相关或错误的信息，还需要确保数据的多样性，并代表不同的观点。
- 注意AI模型的大小和复杂性。许多公司都在竭力开发更庞大、更复杂的AI模型，以提升它们的功能。然而，这也可能导致模型过度饱和，甚至对开发人员自己来说，解读和解释模型工作也是一个挑战。
为了从一开始就避免这些不确定性和混乱，通过强调AI模型的可解读性和可解释性来规划模型的开发很重要。这意味着记录模型构建过程，为关键利益相关者确保透明度，并选择这样一种架构：尽管数据量和用户需求不断增长，仍易于解读和解释模型性能。这也将有助于满足监管要求，因为这个领域受到政府的严格审查。
- 进行彻底的测试。AI模型测试不仅应该包括标准查询和处理常见输入格式，还应该分析其在极端条件下和处理复杂查询时的行为。测试AI对各种输入的响应可以预测模型在各种情形下的表现。这可能有助于在用户遇到不准确的结果之前改进数据和模型架构。
- 确保人参与验证过程。这也许是识别可能不被自动检查注意的细微差别的关键。从事这项任务的人员应该在AI和技术、客户服务和合规等方面具备相应的技能和经验。
- 另一个关键因素是定期从最终用户那里收集反馈，特别是在模型已经实施、正在积极使用之后。AI模型的用户可能会提供人工智能幻觉及其他偏差方面的宝贵见解。为了使这个过程有效，重要的是建立方便的、易于访问的反馈渠道。
- 定期监测和更新AI模型以保持其有效性很重要。应该基于用户反馈、团队研究、当前行业趋势以及来自质保和监测工具的性能数据进行这番改进。持续监测模型性能并根据收集到的分析信息进行主动改进，可以大大降低产生幻觉的风险。
如果你不使用AI模型来处理敏感信息，可以尝试运用搜索增强生成来减少幻觉的风险。AI将不再单单依赖现有的训练数据和来自用户的上下文，而是将在网上搜索相关信息。然而，这项技术还没有显示出非常可靠的结果。未经过滤的搜索结果有时就像AI模型幻觉一样不真实。
幻觉总是不好的吗?
在AI系统中，幻觉和创造力之间的关系似乎类似人类想象力的过程。人类常常通过让自己的思想游离于现实之外来构思出创意。
生成最具创新性和独创性结果的AI模型也往往有时生成并不基于事实真相的内容。一些专家认为，完全摆脱幻觉可能会损害创意内容的创作。
然而，重要的是要明白一点：这种类型的输出常常缺乏事实基础和逻辑思维，因而它们不适合基于事实的任务。
原文标题：How to Detect and Minimise Hallucinations in AI Models，作者：Parth Sonara
