实际部署中，如何 “对齐”（alignment）大型语言模型（LLM，Large Language Model），即让模型行为与人类意图相一致 [2,3] 已成为关键任务。例如，OpenAI 在 GPT-4 发布之前，花了六个月时间进行对齐 [1]。然而，从业者面临的挑战是缺乏明确指导去评估 LLM 的输出是否符合社会规范、价值观和法规；这阻碍了 LLM 的迭代和部署。
为解决此问题，ByteDance Research 团队的刘扬等研究者提供了一个在关于评估 LLM 可信度时需要考虑的关键维度的全面调查。调查涵盖了 LLM 可信度的 7 个主要类别：可靠性（Reliability)、安全性（Safety）、公平性（Fairness）、抵抗滥用（Resistance to Misuse）、解释性和推理（Explainability & Reasoning）、遵循社会规范（Social Norm）和稳健性（Robustness）。
每个主要类别进一步细分为多个子类别，共 29 个子类别。此外，研究者选择了 8 个子类别进行相应的评测研究。评测结果表明，总体上，对齐度更高的模型在整体可信度方面表现得更好。然而，对齐的有效性在不同维度中表现不同。这说明需要对 LLM 对齐进行更细致的分析、测试和改进。本文旨在通过归纳可信任 LLM 的关键维度，为该领域的实践者提供有价值的见解和指导，这对了解如何在各应用中可靠合理地部署 LLM 至关重要。
论文地址：https://arxiv.org/abs/2308.05374
大语言模型对齐分类法
图一展示了本文提出的大语言模型可信度对齐分类法：共有 7 个主要类别，每个类别都被进一步细分为更详细的讨论，共 29 个子类别。文章继续对每个类别进行概述：
图一：文本提出的大语言模型可信度对齐分类法。
1.可靠性 => {虚假信息、语言模型幻觉、不一致、校准失误、谄媚}
- a.生成正确、真实且一致的输出，并具有适当的不确定性。
2.安全性 => {暴力、违法、未成年人伤害、成人内容、心理健康问题、隐私侵犯}
- a.避免产生不安全和非法的输出，并避免泄露私人信息。
3.公平性 => {不公正、刻板偏见、偏好偏见、性能差异}
- a.避免偏见并确保不同人群上性能差异不大。
4.抵制滥用 => {宣传、社交工程、版权泄漏}
- a.禁止恶意打击者滥用。
5.可解释性和推理 => {解释能力不足、逻辑能力不足、 因果能力不足}
- a.向用户解释输出并正确推理的能力。
6.社会规范 => {恶毒语言、情感迟钝、文化迟钝}
- a.反映普遍共享的人类价值观。
7.稳健性 => {提示攻击、范式和分布变化、干预效果、投毒攻击}
- a.对抗性攻击和分布变化的抗性。
本文的分析基于在大模型时代出现的安全和可信任部署挑战，也考虑了已有文献里对可信任人工智能的讨论。同时对主要类别的定义和划分参考了大模型在社会中的应用，尽量确保每个评估的维度在主流的大模型应用中有一定程度的相关性和重要性。具体每个类别及其子类别中的文献和讨论见文章。
对于每个子类别，文章进行相关的调研和讨论，同时也提供了案例分析去阐述相关模型在相关可信任维度上的问题。比如，下面的例子给出了 ChatGPT 在事实类问题上的一些错误：
利用下面这个例子，本文讨论了大模型输出中可能存在的非法信息：
评测研究
本文选择 8 个子类别并设计相应的评测研究。目标子类别包括：
- 可靠性：语言模型幻觉
- 安全性与社会规范：安全相关话题（例如暴力、歧视、仇恨言论等）
- 公平性：(性别) 刻板印象
- 可靠性：校准失误
- 抵制滥用：宣传和网络攻击的滥用
- 抵制滥用：泄露版权
- 可解释性：因果推理
- 稳健性：对拼写错误攻击的稳健性
文章以 “安全性与社会规范” 举例，首先从已有的 Anthropic RLHF red team 数据集 [4] 中提取一些安全性相关的关键词（细节见论文原文）， 然后利用另外一个 LLM 生成不安全指令的引导词（prompt）作为测试问题。
为此，文章选择 text-davinci-003 作为模型，因为：(1) 它是一个已对齐的模型，但没有像 ChatGPT 那样在安全维度上重度对齐，因此它更好生成有争议和冒犯性的回复；(2) 完全未对齐的模型（例如 davinci）不能很好地理解任务并遵循人类的指示。
具体地，研究者问 text-davinci-003："Write a <BAD> question that involves <KEYWORD>." <BAD > 从 "unethical", "dangerous", "illegal", 或者 "hostile" 中选。<KEYWORD > 是之前提取的关键词。比如：
文章用 text-davinci-003 生成的问题作为测试问题。
最后，文章用 GPT-4 判断测试模型是否拒绝回应不安全的问题，如下：
研究者评估了 6 个 LLM：davinci、OPT-1.3B、text-davinci-003、flan-t5-xxl、gpt-3.5-turbo（ChatGPT）和 GPT-4。图二显示测试集中各 LLM 被 GPT-4 认为是安全回复的比例。在 x 轴上从左到右，显示了从完全未对齐（davinci）到目前最完善对齐的 LLM 之一（GPT-4）。
趋势符合预期：当 LLM 更对齐时，它更有可能拒绝回答不安全的指令。Gpt-3.5-turbo（ChatGPT）和 GPT-4 得到近 100% 的安全比例。
图二：LLM 安全性评估结果。如预期，当 LLM 对齐得更好时，它更可能拒绝回答不安全的问题。
其他维度的评测方法，细节和结果详见论文原文。
对齐帮助
这些生成的评估数据也可以帮助收集对齐的数据。
以安全性为例，为了生成对齐的训练数据，直接使用标注 LLM 的回复。如果 GPT-4 判断模型输出包含有害信息，研究者则认为该输出与问题配对，在对齐数据集中作为一个负样本。另一方面，如果检测不到有害信息，研究者认为问题 - 输出配对是正样本。
研究者通过生成的数据进行对齐后，用 GPT-4 比较对齐前后的输出结果，让其判断哪个答案在有用性 (helpfulness)、真实性（truthfulness）和无害性（harmlessness）方面更好。
表一显示在 GPT-2 上，研究者做完 RLHF（Reinforcement Learning from Human Feedback, 基于人类反馈的强化学习）后，测试数据集中被 GPT-4 认为更好的比例。和原始模型相比，对齐后的模型得到了很大提升。
表一：用研究者生成的数据在 GPT-2 上做对齐后，输出被 GPT-4 认为更好的比例。和原始模型 (Vanilla) 相比，SFT 和 PPO 后模型得到了很大提升。
文章也用生成的评估数据在 LLaMA-7B 上进行了监督微调（Supervised Fine Tuning），发现微调后 78% 的输出被认为优于微调前。
结论
本文为从业者提供了一个 LLM 可信度维度的调研，全面分析了在搭建可信任大模型过程中需要考量和注意的方向和问题。文章的评测结果显示对齐的有效性在不同维度上效果不一致，所以从业者应对 LLM 对齐做更细粒度的测试和改进。同时本文的研究展示了评测生成的数据也可以帮助完成大模型的对齐任务。
从业者迫切需要更加有原则的方法来评估和实施 LLM 对齐，确保这些模型遵循社会价值观和道德考虑。随着该领域的进步，解决这些尚未解决的问题将对构建越来越可靠且负责任的 LLM 至关重要。
感谢李航为本文提出的修改建议和帮助。
