GPT-4o mini排名雪崩,大模型竞技场规则更新,奥特曼刷分小技巧无效了

人工智能 新闻
在新规则下,奥特曼的GPT-4o mini、马斯克的Grok-2系列排名显著下降,谷歌Gemini-1.5-flash小模型也有所回落。

大模型竞技场规则更新,GPT-4o mini排名立刻雪崩,跌出前10

图片

新榜单对AI回答的长度和风格等特征做了降权处理,确保分数反映模型真正解决问题的能力。

想用漂亮的格式、增加小标题数量等技巧讨好用户、刷榜,现在统统没用了。

在新规则下,奥特曼的GPT-4o mini、马斯克的Grok-2系列排名显著下降,谷歌Gemini-1.5-flash小模型也有所回落。

Claude系列Llama-3.1-405b大模型分数则纷纷上涨。

图片

只计算困难任务(Hard Prompt)的情况下,大模型在风格控制榜单中的优势更加明显。

图片

此前GPT-4o mini小模型一度登顶,与GPT-4o满血版并列第一,与网友的体感明显不符。

Lmsys大模型竞技场这个一度被Karpathy推荐的评价标准,口碑也跌落到“只能反映用户喜好而不是模型能力了”。

Lmsys组织痛定思痛,先是公开了GPT-4o mini参与的1000场battle数据,从而分析出模型拒绝回答率、生成内容长度、和格式排版是影响投票结果的几个因素。

而且奥特曼还在GPT-4o mini发布之前,暗示了正是按照人类偏好做优化的。

图片

现在,Lmsys进一步推出了控制这些因素的新算法,而且还只是规划中的第一步。

图片

如何控制风格的影响?

假设有模型A擅长生成代码、事实和无偏见的答案等,但它的输出非常简洁。

模型B在实质内容(例如正确性)上不是很好,但它输出的内容长而详细、格式排版华丽。

那么哪个更好?

答案不是唯一的,Lmsys尝试用数学方法找出一个模型的得分有多少是内容或风格贡献的。

此外,最近也已经有研究表明,人类对排版漂亮和更详细的AI回答可能存在偏好性。

图片

通过在Bradley-Terry回归中添加样式特征,如响应长度、markdown小标题的数量、列表和加粗文本数量作为自变量。

这是统计学中的一种常用技术,最近被AlpacaEval LC等用于大模型评估。

在回归中包含任何混杂变量(例如回答长度),可以将分数的增加归因于混杂变量,而不是模型能力本身。

相关代码已在Google Colab上公开。

此外团队还对“只控制长度”和“只控制格式”做了消融实验。GPT-4o mini、谷歌Gemini系列分数受格式影响更大。

图片

不过这种做法也存在局限性,比如可能存在未观察到的混杂因素,例如长度和回答质量之间的正相关,这些因素没有被考虑在内(例如思维链提示)。

有不少网友表示,调整后的困难任务榜单与自己的主观印象更吻合了。

图片

也有人觉得,正是榜单和冲榜的大模型公司这种来回博弈,才能让整个领域一起进步。

图片

责任编辑:张燕妮 来源: 量子位
相关推荐

2024-07-24 12:40:44

2024-07-29 15:37:17

AI训练

2024-10-16 15:07:57

2024-06-05 13:09:26

2024-05-31 14:23:15

2024-09-06 13:31:31

2024-06-21 09:51:17

2024-07-22 15:13:24

2024-07-19 12:43:34

2024-09-06 13:00:29

2024-05-21 12:23:17

2024-07-04 15:26:56

2024-06-05 08:29:35

2024-04-22 08:40:00

LLM模型开源

2024-05-30 13:13:43

2024-08-08 14:27:29

2024-08-22 13:40:08

开发者GPT-4oepoch

2024-05-15 17:34:15

2024-05-14 11:29:15

2024-10-17 14:05:34

点赞
收藏

51CTO技术栈公众号