「AI 数学奥林匹克竞赛(AIMO 进步奖)的初步成绩已公布。根据排行榜的数据,目前看来,获胜的程序在私人测试中正确回答了 29/50 道题,这一成绩比预期的要高。」刚刚,陶哲轩在个人博客中公布了这一消息。
AIMO 最初由一家搞机器学习量化交易的非银行金融机构 XTX Markets 发起,主要是让参与者使用 AI 模型解决国际数学难题,而本次进步奖的目标是创建能够解决用 LaTeX 格式编写的复杂数学问题的算法和模型。这将有助于推动人工智能模型的数学推理能力,并推动前沿知识的发展。
值得一提的是,此次进步奖是首次颁发,获奖队伍将角逐 104.8 万美元的奖金。
参赛题目包括中级高中数学竞赛的题目,但难度没有达到国际数学奥林匹克(IMO)的水平。
获奖资格要求团队公开发布其代码、方法、数据和模型参数。
根据排名,我们可以看出,获得第一名的是 Numina 的团队,CMU_MATH 位列第二,after exams 暂居第三,codeinter、Conor #2 团队分别拿到第四、第五的成绩。
根据规则,参赛小组最多 5 人,排名前五的就有两位是单人作战。
大家使用的模型也是各不相同,包括 Mixtral・8x7b、Gemma、Llama 3 等。
一直以来,IMO 国际奥林匹克数学竞赛都是由专门研究数学的爱好者们直接参与,但随着大模型能力的不断提升,其在数学中的表现受到越来越多的关注。
大家测试的重点也逐渐从类似的高考题转战到奥林匹克竞技场上,此前,来自 Google DeepMind 的 AlphaGeometry 登上 Nature,该研究解决了 30 个奥林匹克级别问题中的 25 个,接近国际数学奥林匹克竞赛金牌选手的平均表现。
在大模型爆发的当下,已经不止一家开始挑战奥赛难题,让他们之间一较高下结果会怎样呢?
去年 11 月,专门为 AI 设立的数学比赛来了,奖金为 1000 万美元,旨在激励开放式的人工智能模型开发,使其能够在国际数学奥林匹克(IMO)中表现得与顶尖人类参赛者一样出色。此次进步奖是作为 AIMO 大奖的一部分进行评选。
AIMO 顾问委员都是数学界的大牛,包括菲尔兹奖得主 Timothy Gowers 和陶哲轩(Terence Tao),与他们一同任职的还有 Po-Shen Loh、Dan Roberts 和 Geoff Smith。