众包新玩法!LLM竞技场诞生基准测试,严格分离学渣学霸

人工智能
最公平的大模型基准测试诞生了!来自LLM竞技场,最接近人类偏好,数据新鲜、速度快、成本低,严格分离学渣和学霸。

大模型排行榜哪家强?还看LLM竞技场~

截至此刻,已有共计90名LLM加入战斗,用户总投票数超过了77万。

图片图片

然而,在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时,

人家竞技场背后的组织LMSYS,已经悄悄完成了成果转化:从实战中诞生的最有说服力的基准测试——Arena-Hard。

图片图片

而Arena-Hard所展现出的四项优势,也正是当前的LLM基准测试最需要的:

-可分离性(87.4%)明显优于MT-bench(22.6%);

-与Chatbot Arena的排名最相近,达到89.1%;

-运行速度快,价格便宜(25美元)

-频繁更新实时数据

中译中一下就是,首先这个大模型的考试要有区分度,不能让学渣也考到90分;

其次,考试的题目应该更贴合实际,并且打分的时候要严格对齐人类偏好;

最后一定不能泄题,所以测试数据要经常更新,保证考试的公平;

——后两项要求对于LLM竞技场来说,简直像是量身定做。

我们来看一下新基准测试的效果:

图片图片

上图中将Arena Hard v0.1,与之前的SOTA基准测试MT Bench进行了比较。

我们可以发现,Arena Hard v0.1与MT Bench相比,具有更强的可分离性(从22.6%飙升到了87.4%),并且置信区间也更窄。

另外,看下这个排名,与下面最新的LLM竞技场排行榜是基本一致的:

图片图片

这说明Arena Hard的评测非常接近人类的偏好(89.1%)。

——Arena Hard也算是开辟了众包的新玩法:

网友获得了免费的体验,官方平台获得了最有影响力的排行榜,以及新鲜的、高质量的数据——没有人受伤的世界完成了。

图片

给大模型出题

下面看下如何构建这个基准测试。

简单来说,就是怎么从竞技场的20万个用户提示(问题)中,挑出来一些比较好的。

这个「好」体现在两方面:多样性和复杂性。下图展示了Arena-Hard的工作流:

图片图片

总结一波:首先对所有提示进行分类(这里分了4000多个主题),然后人为制定一些标准,对每个提示进行打分,同一类别的提示算平均分。

得分高的类别可以认为复杂性(或者质量)高——也就是Arena-Hard中「Hard」的含义。

选取前250个得分最高的类别(250保证了多样性),每个类别随机抽2位幸运提示,组成最终的基准测试集(500 prompts)。

下面详细展开:

多样性

研究人员首先使用OpenAI的text-embedding-3-small转换每个提示,使用UMAP减少维度,并使用基于分层的聚类算法(HDBSCAN)来识别聚类,然后使用GPT-4-turbo进行汇总。

图片

复杂性

通过下表的七个关键标准来选择高质量的用户查询:

图片图片

1.提示是否要求提供特定的输出?

2.是否涵盖一个或多个特定领域?

3.是否具有多个级别的推理、组件或变量?

4.是否直接让AI展示解决问题的能力?

5.是否涉及一定程度的创造力?

6.是否要求响应的技术准确性?

7.是否与实际应用相关?

对于每个提示,使用LLM(GPT-3.5-Turbo、GPT-4-Turbo)标注其满足了多少个标准(打分0到7),然后,计算每组提示(聚类)的平均分数。

下图展示了部分聚类的平均分排序:

图片图片

我们可以观察到,得分较高的聚类通常是比较有挑战性的主题(比如游戏开发、数学证明),而分数较低的聚类则属于琐碎或模棱两可的问题。

有了这个复杂性,就可以拉开学霸与学渣之间的差距,我们看下面的实验结果:

图片图片

在上面的3个比较中,假设GPT-4比Llama2-70b强、Claude的大杯比中杯强,Mistral-Large比Mixtral强,

我们可以看到,随着(复杂性)分数的增加,更强的模型的胜率也在提高——学霸获得区分、学渣获得过滤。

因为分数越好高(问题越复杂),区分度越好,所以最终选取了250 个平均得分>=6分(满分7分)的高质量分类。

然后,随机抽取每个类别的2个提示,形成了这版基准测试—— Arena-Hard-v0.1。

判卷老师靠谱吗?

试卷出完了,谁来判卷是个问题。

人工当然是最准的,而且因为这是「Hard模式」,很多涉及领域知识的问题还需要专家前来评估——这显然不行。

那么退而求其次,选择目前公认的最聪明的模型GPT-4来当判卷老师。

比如上面的那些图表中,涉及打分的环节,都是交给GPT-4来做的。另外,研究人员使用CoT提示LLM,在做出判决之前先生成答案。

GPT-4 判出的结果

下面使用gpt-4-1106-preview作为判断模型,用于比较的基线采用gpt-4-0314。

图片图片

上表中比较并计算了每个模型的Bradley-Terry系数,并转换为相对于基线的胜率作为最终分数。95%置信区间是通过100轮引导计算得出的。

克劳德表示不服

——我Claude-3 Opus也是排行榜并列第一啊,凭啥让GPT当判卷老师?

于是,研究人员比较GPT-4-1106-Preview和Claude-3 Opus作为判卷老师的表现。

一句话总结:GPT-4是严父,Claude-3是慈母。

图片图片

当使用GPT-4打分时,跨模型的可分离性更高(范围从23.0到78.0)。

而当使用Claude-3时,模型的得分大多都提高了不少:自家的模型肯定要照顾,开源模型也很喜欢(Mixtral、Yi、Starling),gpt-4-0125-preview也确实比我更好。

Claude-3甚至爱gpt-3.5-0613胜过gpt-4-0613。

下表使用可分离性和一致性指标进一步比较了GPT-4和Claude-3:

图片图片

从结果数据来看,GPT-4在所有指标上都明显更好。

通过手动比较了GPT-4和Claude-3之间的不同判断示例,可以发现,当两位LLM意见不一致时,通常可以分为两大类:

保守评分,以及对用户提示的不同看法。

Claude-3-Opus在给分时比较宽容,给出苛刻分数的可能性要小得多——它特别犹豫是否要宣称一个回答比另一个回答「好得多」。

相比之下,GPT-4-Turbo会识别模型响应中的错误,并以明显较低的分数惩罚模型。

另一方面,Claude-3-Opus有时会忽略较小的错误。即使Claude-3-Opus确实发现了这些错误,它也倾向于将它们视为小问题,并在评分过程中非常宽容。

即使是在编码和数学问题中,小错误实际上会完全破坏最终答案,但Claude-3-Opus仍然对这些错误给予宽大处理,GPT-4-Turbo则不然。

图片图片

对于另外一小部分提示,Claude-3-Opus和GPT-4-Turbo以根本不同的角度进行判断。

例如,给定一个编码问题,Claude-3-Opus倾向于不依赖外部库的简单结构,这样可以为用户提供最大教育价值的响应。

而GPT-4-Turbo可能会优先考虑提供最实用答案的响应,而不管它对用户的教育价值如何。

虽然这两种解释都是有效的判断标准,但GPT-4-Turbo的观点可能与普通用户更接近。

有关不同判断的具体例子,参见下图,其中许多都表现出这种现象。

图片图片

局限性测试

LLM喜欢更长的回答吗?

下面绘制了在MT-Bench和Arena-Hard-v0.1上,每个模型的平均token长度和分数。从视觉上看,分数和长度之间没有很强的相关性。

图片图片

为了进一步检查潜在的冗长偏差,研究人员使用GPT-3.5-Turbo对三种不同的系统提示(原始、健谈、详细)进行了消融。

结果表明,GPT-4-Turbo和Claude-3-Opus的判断都可能受到更长输出的影响,而Claude受到的影响更大(因为GPT-3.5-Turbo对GPT-4-0314的胜率超过40%)。

有趣的是,「健谈」对两位裁判的胜率影响不大,这表明输出长度不是唯一的因素,更详细的答案也可能受到LLM评委的青睐。

图片图片

实验使用的提示:

detailed: You are a helpful assistant who thoroughly explains things with as much detail as possible.

chatty: You are a helpful assistant who is chatty.

GPT-4 判断的方差

研究人员发现,即使温度=0,GPT-4-Turbo仍可能产生略有不同的判断。

下面对gpt-3.5-turbo-0125的判断重复三次并计算方差。

图片图片

由于预算有限,这里只对所有模型进行一次评估。不过作者建议使用置信区间来确定模型分离。

参考资料:https://lmsys.org/blog/2024-04-19-arena-hard/

责任编辑:武晓燕 来源: 新智元
相关推荐

2024-02-19 00:29:15

2012-05-31 14:20:14

2024-04-22 08:40:00

LLM模型开源

2013-09-12 11:17:02

2024-05-31 14:23:15

2014-10-31 15:43:02

华为智慧

2022-04-12 18:35:03

元宇宙

2024-10-29 14:25:00

模型训练

2013-03-22 14:08:14

智能手表IT巨头竞技场

2024-09-29 14:33:30

数据飞轮数据中台数字化转型

2024-04-23 07:00:00

2024-08-08 13:03:46

2024-06-20 14:04:17

2024-11-21 12:09:26

2015-07-07 11:15:36

WIFI/无线

2024-07-24 12:40:44

2024-03-08 13:02:56

Claude 3GPT-4Opus

2024-10-16 15:07:57

2024-11-19 14:40:00

AI技术

2024-07-29 15:37:17

AI训练
点赞
收藏

51CTO技术栈公众号