我用GPT-4参加阿里数学竞赛!官方:今年欢迎,七万奖金凭本事拿走

人工智能
2024阿里全球数赛,在预选赛阶段增设了一场AI挑战赛。和参加常规赛的人类选手一样,大模型们也要对同一套预赛试题作出解答,考核内容的难度相当于数学本科一年级水平,重点考察AI的数学逻辑推理与问题解决的能力。

大模型要在数学竞赛上跟人类同场竞技啦!

最新消息,阿里巴巴全球数学竞赛,今日官宣开启报名。依然不限年龄、国籍、职业,有意思的是,这次甚至突破了碳基硅基的限制——

首次向AI开放,诚邀全球大模型参赛。

不仅如此,获胜AI最高还可获得10000美元(约合7.2万元人民币)奖金。

如此因崔斯汀的消息,当即引起了网友们的关注。

我们还打听到,国内外有不少高校研究团队和大模型创业公司已经表达出浓厚兴趣,准备参赛。

新设「AI挑战赛」

具体来看规则。

2024阿里全球数赛,在预选赛阶段增设了一场AI挑战赛。

和参加常规赛的人类选手一样,大模型们也要对同一套预赛试题作出解答,考核内容的难度相当于数学本科一年级水平,重点考察AI的数学逻辑推理与问题解决的能力。

图片

赛制方面,数赛官网已在今天(3月14日)开放统一报名通道,大模型参赛团队须在报名页勾选AI参赛选项。

完成报名后,官方会提供历届数赛初赛的真题和答案,让大模型选手们可以在正式比赛前先刷刷题练练手。

4月13日-15日,官网将开启初赛考试通道,参赛选手需要在此期间完成答题,并在系统中提交人类评委看得懂的答卷。

组委会将根据大模型在此过程中展现出的创新性、解题效率、解题过程的逻辑性等因素综合评分,并给出具体评语。

最终得分排名前三的AI将依次获得10000美元、5000美元和2000美元的奖金。如果所有AI均不能有效作答,则奖金会累积滚动到下届赛事的奖金池。

值得一提的是,AI挑战赛允许人类使用提示词工程来调教大模型。

但为了确保公平竞赛,避免人类替考,参赛者需要在开赛前就提交模型代码或Prompt,以供校验复现。

(这波是反向防作弊了)

大模型挑战数学竞赛·实测版

正式比赛尚未开始,但显然,面对数学竞赛题,AI具体会有怎样的表现,已经成为这届阿里数学竞赛的关注焦点之一。

为了满足大家伙儿(包括我们自己)的好奇心,量子位已经率先要到了历届初赛的真题和参考答案,咱们就请出当前最强的两位通用大模型选手——GPT-4和Claude 3,来个真题演练,先睹为快。

Round 1:选择题

开胃小菜。先来这道2023年阿里数学竞赛初赛的一道图论题:

图片

还是先来看GPT-4的表现。

在代码解释器的加持之下,GPT-4成功选对了C选项,即90≤S≤100。并且,GPT-4也给出了具体的解释:

它通过简化模型估算出等待总时间最小可能值是81,考虑到实际线路中可能出现更多必须直行和左转的情况,结合选项,S值会更接近90而小于100。

图片

△GPT-4真的很话痨

同样的题目抛给Claude 3:

图片

Claude 3成功判断了题型,但很遗憾回答错误。

不过如果我们稍稍给点提示,比如:是否能将小明行驶的路线看成一个100边形,来尝试解题。

Claude 3瞬间就get到了思路,这次计算正确:S=96,选C。

图片

这么看来,大模型的表现还是可圈可点的。它们在工具加持又或者在人类点拨的情况下,能够给出正确答案的同时,还能给出具体的解题思路。

Round 2:证明题

选择题之外,证明题也是阿里数学竞赛必出的题型。我们也挑选了一道题来进行测试。

图片

先说正确结论:对于第一问,答案是存在;对于第二问,答案是不存在。

来看GPT-4的答题情况:

图片

Claude 3的答案:

图片

这一次,打分权交给你,你觉得GPT-4和Claude 3各能得几分?

总结一下,从测试结果来看,大模型们挑战阿里数学竞赛题,还是难度不小。

尽管基础知识丰富,能够初步判断出所考题型;计算速度也飞快,但也常会出现胡言乱语的状况,仍需要人类的指正和点拨。

“AI改变数学的时代正在到来”

在我们的初步测试中,大模型的解题表现虽然不如那些能闯入决赛的人类选手,但已经可以想见,在这种新的碰撞中,我们可以期待看到更多AI在抽象思维、逻辑思辨和巧妙解题方面能力的展示。

对此,阿里全球数学竞赛组委会也做出了阐释:

我们希望通过引入AI参赛,可以推动人工智能在数学领域的研究和应用创新,特别是探索AI在解决复杂数学问题方面的潜力,催生新的模型和训练方法。

虽然我们预计今年AI还可能不及人类选手的水平,但是未来差距无疑会不断缩短,甚至于超越。这一旦发生,会倒逼竞赛难度提升,也会让人类选手迸发更大潜能。

此外,数学本身就是AI的基础,我们也会去解读一些优秀AI背后的数学原理,向公众展示数学对于AI的重要性和应用前景,希望能够提升大众,特别是青少年对基础学科的兴趣。

图片

早在ChatGPT刚开始流行之时,以陶哲轩等人为代表的数学家们,就对大模型保持高度关注。

陶哲轩本人不仅将多种AI工具都纳入了自己的工作流,还大胆预言:

当与形式证明验证器、互联网搜索和数学符号包等工具整合时,2026年的AI,如果使用得当,将成为数学研究中值得信赖的共同作者,并且在许多其他领域也是如此。

图片

而《纽约时报》更是在对多位知名数学家进行采访后,给出了这样的评论:

AI改变数学的时代正在到来。

AI is coming for mathematics, too.

现在,阿里全球数学竞赛这样备受关注的赛事主动拥抱AI,再次印证了这一新趋势。

背后透露出的,还有数学界面对新一轮技术变革所产生的期待。

对于人类选手而言,AI与数学更深入的结合趋势已经显现,这样的比赛,可以作为新一类接触的桥梁。

对于数学家和AI研究者们而言,这样的平台为AI for Math提供了一个测试研究成果的基准,有助于推动更多数学与AI的前沿研究。

而对于大众,这也是进一步理解AI能力,和数学魅力的一扇窗口。

据说,此次大赛主办方还将联合魔搭社区,准备招募更多的开发者来参与;到时候一些国内主流的开源数学模型也出来打配合,同开发者一道与一众数学爱好者们同场竞技!

哦莫,已经可预见的是,数学界的人机混战一触即发~

所以广大开发者们也不要光看了,赶紧来试试,没准儿还能赚点生活费……

你说是吧~

责任编辑:姜华 来源: 量子位
相关推荐

2023-03-28 13:01:20

GPT-4开发OpenAI

2023-06-19 08:19:50

2023-04-11 14:13:23

阿里AI

2023-05-18 07:41:49

2023-08-25 13:12:59

AI开源

2023-10-08 13:11:00

训练数据

2023-03-15 10:35:16

GPTAI

2023-11-01 19:03:58

GPT-4

2023-10-31 15:26:02

阿里云通义千问

2024-02-05 13:29:00

GPT-4代码ChatGPT

2024-05-21 12:23:17

2020-10-05 21:47:30

AI 数据人工智能

2023-12-27 13:56:00

2024-05-09 08:33:33

2023-05-27 23:43:28

GPUGPT-4算法

2023-05-03 20:53:48

2023-08-15 10:33:06

微软必应人工智能

2023-03-16 19:17:57

2023-03-30 13:56:38

ChatGPT

2023-10-10 12:30:51

AI模型
点赞
收藏

51CTO技术栈公众号