OpenAI推出了一款全新工具，用于衡量AI在机器学习工程中的能力，该基准名为MLE-bench，通过来自Kaggle的75个现实世界的数据科学竞赛对AI系统进行挑战，Kaggle是一个广受欢迎的机器学习竞赛平台。
随着科技公司加大开发更强大AI系统的力度，MLE-bench不仅仅测试AI的计算或模式识别能力，还评估AI在复杂的机器学习工程领域中的规划、故障排除和创新能力。
AI挑战Kaggle：令人印象深刻的胜利与意外的挫折
结果揭示了当前AI技术的进展与局限，OpenAI的最先进模型o1-preview，在名为AIDE的专用结构的支持下，在16.9%的竞赛中达到了可获得奖牌的表现，这一表现值得关注，表明在某些情况下，该AI系统能够与技术娴熟的数据科学家进行竞争。
然而，研究也突显了AI与人类专业知识之间的显著差距，AI模型通常能够成功应用标准技术，但在需要适应性或创造性解决问题的任务中表现较为欠缺，这一局限强调了人类洞察力在数据科学领域的持续重要性。
机器学习工程涉及设计和优化能够让AI从数据中学习的系统。MLE-bench评估AI在这个过程中各个方面的能力，包括数据准备、模型选择和性能调优。
从实验室到工业界：AI在数据科学中的深远影响
该研究的影响不仅限于学术领域，能够独立处理复杂机器学习任务的AI系统的发展，可能会加速各行业的科学研究和产品开发，然而，这也引发了对人类数据科学家角色演变的思考，以及AI能力迅速提升的潜力。
OpenAI决定将MLE-bench开源，这允许更广泛的研究和使用该基准，这一举措可能帮助建立评估机器学习工程中AI进展的共同标准，并可能影响该领域未来的发展和安全考虑。
随着AI系统在某些专业领域逐步接近人类水平，像MLE-bench这样的基准为追踪进展提供了关键指标，它们为外界过高的AI能力预期提供了现实的衡量标准，展示了当前AI的长处和不足。
AI与人类在机器学习中的未来合作
增强AI能力的努力正在加速，MLE-bench为这项进展提供了新的视角，特别是在数据科学和机器学习领域。随着这些AI系统的不断改进，它们可能会与人类专家协同工作，潜在地拓宽机器学习应用的边界。
然而，值得注意的是，尽管该基准展示了可喜的成果，它也揭示了AI距离完全复制经验丰富的数据科学家的细致决策和创造力还有很长的路要走。当前的挑战在于如何缩小这一差距，并确定如何在机器学习工程领域将AI能力与人类专长最佳结合。
