回复
一文读懂LLMs的幻觉问题和对策
什么是大模型幻觉（LLM Hallucination）
指大语言模型在生成文本时，给出似是而非、虚构或不准确信息的现象，简单来说就是一本正经的胡说八道。
要点：
- 大模型幻觉包括生成的文本与事实矛盾、上下文矛盾、与prompt不一致、编造事实和荒谬回复等问题
- 幻觉产生的原因有数据质量问题、多样性缺乏、训练过拟合、生成过程随机性、提示工程不足和微调过程控制不当
- 幻觉会带来严重后果,阻碍大模型应用
1）. 事实性幻觉 (Factuality Hallucination)
🐞 事实不一致
✍️ 事实捏造
2）. 忠实性幻觉 (Faithfulness Hallucination)
💬 指令不一致
📜 上下文不一致
🧮 逻辑不一致
产生幻觉的原因
🗣️ 内容生成的机制
📚 训练数据的局限
🤔 上下文误导
应对幻觉的方法
1）. 🏖️ 依赖模型能力的增强 （什么都不用做！）
2）. 🔍 交叉验证信息
3）. 📖 设置明确的上下文-
大模型幻觉从哪儿来？
1️⃣来自数据
- 将虚假的相关性(如位置接近或高度共现的关联误解为事实知识
- LLM偏向于肯定测试样本，LLMs容易复制甚至放大这种幻觉行为。
- 存在一些导致幻觉的训练数据·
2️⃣大模型有时会高估自己的能力
3️⃣在 SFT 阶段，有问题的对齐过程可能会误导大模型产生幻觉
4️⃣LLM采用的生成策略，如现在常见的 top-k、top-p 等方法，其实是一种局部最优解，不能确保全局最优。这意味着搜索空间变小了，因此可能引发幻觉问题
大模型幻觉如何评估？
1、生成事实陈述评估
2、判别式基准评估
3、基于问答对的评估
合理解决方法
1️⃣预训练数据问题
2️⃣微调新知识
3️⃣幻觉检测
4️⃣基于采样的检测
5️⃣未知知识的校准
本文转载自公众号数字化助推器 作者：天涯咫尺TGH
赞
收藏
回复
相关推荐
