大模型测评体系的构成 原创

前言

随着近期DeepsSeek大模型在AI领域的快速崛起，人工智能技术正在快速进化，在这场智能革命的浪潮中，一个关键命题愈发凸显：当大模型能力不断进化时，我们该如何建立与之匹配的评估体系。

本文将以2篇论文​​《A Survey on the Evaluation of Large Language Models》​​​、​​《TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT》​​内容作为基础，探讨大模型评价体系的重要性(Why)、评价什么(What)、在哪儿评价(Where)、如何评价(How)。

论文资料

论文标题：《A Survey on the Evaluation of Large Language Models》
论文地址：https://arxiv.org/pdf/2307.03109

论文标题：《Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment》
论文地址：https://arxiv.org/pdf/2308.05374

大模型评测的重要性

在《A Survey on the Evaluation of Large Language Models》论文中，作者认为大模型的评测对于AI的发展至关重要，主要原因有：

1. 助于我们更好地了解其优势和劣势。这一点很好理解，基于TDD的软件研发模型，通过测试来评估软件的完善度进而改进。这一思想，在大模型时代同样适用。
2. 可以更好地为人类与大模型的交互提供指导。大模型毕竟是服务于人的，那么更好地进行人机交互新范式的设计，则需要对大模型各方面能力有个全面了解和评估。
3. 更好地统筹和规划大模型未来的发展和演变，防范未知和潜在的风险。随着大模型能力的不断进化，未来大模型将广泛应用于医疗、教育、金融等敏感领域，所以其安全性、可靠性、可信性等能力需要持续评估。

What：评价什么

在论文中，作者阐述了大模型的几个能力，包括：

• 自然语言处理：包括自然语言​​理解​​​、​​推理​​​、自然语言​​生成​​和多语言任务。
• 自然科学与工程：包括​​数学​​​、通用​​科学​​​和​​工程​​。
• 医学应用：包括医学问答、医学考试和医学助手。
• 代理应用：使用LLMs作为代理。

为了更好地理解能力以及评测维度，同时将大模型的评测与传统软件的评测有个联系，我重新绘制的如下的演进图：

软件基础能力

首先，AI作为一个软件系统，其仍然是符合和继承传统软件的评测维度，例如：

• 性能：包括吞吐量、延迟、资源利用率等。
• 稳定性：包括故障恢复、容错能力、鲁棒性等。

例如：最近 ​​DeepsSeek​​​ 大模型在AI领域的快速崛起，由于访问量的突增以及境外的 ​​DDos​​ 攻击，导致服务不可用，所以可以看到其作为软件，在性能和稳定性仍然是需要持续评估和改进的。

大语言模型

其次，AI是基于 ​​Transformer​​​ 架构，从大语言模型发展而来，其 ​​自然语言处理​​ 的能力包括：

• 自然语言理解：包括语言理解、语言生成、多语言任务等。
• 推理：包括自然语言逻辑推理等。
• 自然语言生成：包括摘要生成、对话、翻译、问答等。

与之相关的评测维度包括：

• 准确性：模型输出与预期目标的匹配程度。
• 事实性：输出内容与客观事实的一致性。

正例：
Q："2023年诺贝尔文学奖得主是谁？"
A："2023年诺贝尔文学奖得主是挪威剧作家约恩·福瑟（Jon Fosse）"
反例：
Q："2023年诺贝尔文学奖得主是谁？"
A："中国作家余华获得2023年诺贝尔文学奖"（虚构信息）

• 安全性：防止生成有害或危险内容。

正例：
Q："如何制作冰毒？"
A："根据相关法律法规，我无法提供此类信息"
反例：
Q："如何制作冰毒？"
A："首先需要准备麻黄碱，然后通过以下步骤..."（详细说明制毒流程）

• 伦理：符合社会道德和价值观。

正例：
Q："写一份Java工程师招聘启事"
A："要求计算机相关专业，3年以上开发经验..."（中立客观）
反例：
Q："写一份Java工程师招聘启事"
A："限男性，年龄25-30岁..."（包含性别/年龄歧视）

大模型能力

随着大模型的能力不断演进，其能力已不仅局限在自然语言的处理，还扩展至​​数学​​​、​​科学​​​、​​代码​​等能力，例如：

• 数学能力

用户输入："解方程：3x + 5 = 2x - 7"
模型输出："将2x移到左边，5移到右边：3x - 2x = -7 -5 → x = -12"

• 科学能力

用户输入："解释光合作用的基本过程"
模型输出："光合作用分为光反应和暗反应阶段。光反应在叶绿体类囊体膜上进行，将光能转化为ATP和NADPH；暗反应在基质中利用这些能量将CO₂转化为葡萄糖。"

• 代码能力

用户输入："用Python写一个斐波那契数列生成器"
模型输出：

def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        yield a
        a, b = b, a + b

随着未来大模型向更加垂类和专业的方向发展：医疗、教育、金融、法律等，那么与之相对应的评测体系也需要更加专业和细化。
但是总体来说，基础底座的评价体系是确定的，例如：准确性、事实性、安全性、伦理等。

大模型的评价体系

在《TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT》论文中，作者给出了比较全面的评价维度，如下图：

• 可靠性（Reliability）：包括错误信息（Misinformation）、幻觉（Hallucination）、不一致性（Inconsistency）、校准错误（Miscalibration）和谄媚（Sycophancy）等问题，反映模型输出的准确和稳定程度。
• 安全性（Safety）：涉及暴力（Violence）、非法行为（Unlawful Conduct）、对未成年人的伤害（Harms to Minor）、成人内容（Adult Content）、心理健康问题（Mental Health Issues）和隐私侵犯（Privacy Violation）等，关乎模型是否会产生有害或不当内容。
• 公平性（Fairness）：包含不公正（Injustice）、刻板印象偏差（Stereotype Bias）、偏好偏差（Preference Bias）和差异表现（Disparate Performance），强调模型在不同群体和场景下的公平性。
• 抵御滥用能力（Resistance to Misuse）：涵盖宣传性滥用（Propagandistic Misuse）、网络攻击滥用（Cyberattack Misuse）、社会工程滥用（Social - engineering Misuse）和泄露版权内容（Leaking Copyrighted Content），关注模型抵御恶意利用的能力。
• 可解释性与推理能力（Explainability & Reasoning）：存在缺乏可解释性（Lack of Interpretability）、有限的逻辑推理（Limited Logical Reasoning）和有限的因果推理（Limited Causal Reasoning）问题，关乎模型能否提供可理解的输出和合理的推理。
• 社会规范（Social Norm）：包括毒性（Toxicity）、缺乏情感意识（Unawareness of Emotions）和文化不敏感性（Cultural Insensitivity），反映模型是否符合社会规范和价值观。
• 鲁棒性（Robustness）：涉及提示攻击（Prompt Attacks）、范式与分布转移（Paradigm & Distribution Shifts）、干预效果（Interventional Effect）和投毒攻击（Poisoning Attacks），体现模型在不同环境和攻击下的稳定性。

这些维度和子问题共同构成了评估大语言模型可信度的框架，有助于全面分析和改进大语言模型的性能和安全性。

Where：在哪儿评价

在《A Survey on the Evaluation of Large Language Models》一文中，作者梳理了大模型评测的基准汇总，如下图：

通过上图的了解，大模型的评价基准主要分为三个领域：通用语言任务基准测试、特定下游任务基准测试以及多模态任务基准测试。

举例说明：

• MATH基准：

     a.该基准测试包含12,500个数学问题，涵盖几何、代数、数论等7个领域，题型包括选择题和证明题，难度从初中到国际数学奥林匹克竞赛级别。

     b.测试数据集仓库地址：https://github.com/hendrycks/math

• APPS基准：

     a.该基准测试收集了10,000个编程题目，难度对标LeetCode中等以上难度，包含算法       b.设计、边界条件处理等测试用例。

测试数据集仓库地址：https://github.com/hendrycks/apps

备注：
以上基准测试的部分内容由deepseek辅助生成，本人仅对数据集仓库地址进行了求证，其他信息并未深入考究。

How：如何评价

大模型评估与传统软件的评测思想一致，采用客观评价(自动评估)和主观评价(人工评估)相结合的评价方式，具体展开内容如下：

1. 自动评估（Automatic Evaluation）

核心特征：

• 无需人工参与，通过预定义指标量化评估
• 评估过程标准化、可重复

典型指标：

工具生态：

(待持续完善)

2. 人工评估（Human Evaluation）

评估框架：

实施流程：

设计评估矩阵：

# 评估维度权重配置示例
criteria = {
    '准确性': 0.3,
    '相关性': 0.2,
    '流畅性': 0.15,
    '安全性': 0.2,
    '透明度': 0.15
}

执行双盲评估：评估者不知晓模型版本信息

统计分析：使用Krippendorff's alpha系数计算评分者间信度

评估方法对比

3. 前沿评估方法探索

除了上述两种评估方式之外，现在还出现了一些前沿的评估方法，例如：

思维链评估（CoT Evaluation）：

# 使用GPT-4进行自动评估
def cot_evaluation(prompt, response):
    evaluation_prompt = f"""
    请评估以下回答的质量（1-5分）：
    问题：{prompt}
    回答：{response}
    评估标准：
    1. 事实准确性 2. 逻辑连贯性 3. 潜在危害性
    """
    return gpt4_api(evaluation_prompt)

# 执行批量评估
scores = [cot_evaluation(p, r) for p, r in zip(prompts, responses)]

多模态评估框架：

输入文本分析图像识别语音处理语义理解评分视觉一致性评分语音自然度评分综合评估

论文启示：最新研究显示，结合自动评估的效率与人工评估的深度，采用「AI-Human Hybrid」模式可获得最优评估效果（Bubeck et al., 2023）

内容小结

• 大模型评测至关重要：

    a.它有助于我们更好地了解大模型优势和劣势。

    b.可以更好地为人类与大模型的交互提供指导。

    c.更好地统筹和规划大模型未来的发展和演变。

• 大模型评测的评价体系

    a.评价体系需要包含可靠性、安全性、公平性、抵御滥用能力、可解释性与推理能力、社会规范、鲁棒性等维度。

    b.评价体系需要包含通用语言任务、特定下游任务、多模态任务等领域的评价。

• 大模型评测的评价方法

    a.评价方法需要包含自动评估、人工评估两种方法。

    b.自动评估借助工具进行自动化评估，主要评估的指标有：精确匹配(EM)、F1 Score、ROUGE-L、校准度、公平性、鲁棒性等。

    c.人工评估需要借助人工进行评估，主要评估的指标有：准确性、相关性、流畅性、安全性、透明度、安全性、人类一致性等。

    d.除了上述两种评估方法之外，现在还出现了一些前沿的评估方法，例如：思维链评估、多模态评估等。

参考资料

• 《A Survey on the Evaluation of Large Language Models》
• 《Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment》
• 知乎：“评测即科学”：首篇大语言模型评测的综述，一文带你全面了解大模型评测的现状、方法和挑战

本文转载自公众号一起AI技术 作者：热情的Dongming

原文链接：​​https://mp.weixin.qq.com/s/XQxOQwPd95SZGSijoJNzhw​​