作者 | 徐杰承
审校 | 云昭
“AI确实可能会杀死人类。”这并不是哪家自媒体为博人眼球而发表的谣言，而是ChatGPT之父、OpenAI CEO山姆·奥尔特曼在今年3月与MIT研究科学家Lex Fridman对话时亲口所说的一句话。
如今，这位全世界最受瞩目的老板决定采取行动，以阻止自己的预言发生——OpenAI通过7月5日发表于官网的博客表示，公司正在组建一个顶级AI团队，计划于四年内解决超级AI的核心技术挑战并实现对超级AI的完全掌控。
更值得一提的是，为了能更好的完成对新团队的构建，OpenAI本次甚至开启了团队核心岗位的对外招聘通道。目前所公布的三个职位，年薪范围在24.5至50万美元不等。
图片
1、我们创造了过于强大的黑盒
根据OpenAI的说法，超级智能将会是人类有史以来所发明的最具影响力的技术，将能够帮助人类解决世界上许多最重要的问题。但不可忽视的是，超级智能的巨大力量也同样危险，可能导致人类丧失许多核心技能，甚至彻底灭绝人类。
虽然就目前而言，即便是最先进的大模型GPT4与超级智能依然相差甚远，但OpenAI认为超级智能的到来只需要十年甚至更短。并且如今人类在AI方面的技术积累，就连GPT4的推理能力都无法解读，更不要说在未来控制比人类聪明太多的超级智能。
想要管理超级智能可能带来的风险，就需要建立相应的治理组织，来解决超级智能AI对齐的问题。然而遗憾的是，我们至今仍然没有解决方案能够操纵或控制潜在的超级智能，以防止将来可能发生的危险。
现阶段最有效的对齐人工智能的技术之一，正是GPT4中所使用的基于人类反馈的强化学习（RLHF），但依靠这种基于人类监督的AI能力，我们无法可靠地监督比我们聪明太多的人工智能系统。因此目前的对齐技术无法有效覆盖超级智能，这使得我们急需寻找新的科技突破。
2、OpenAI的三步计划
对于超级智能的潜在风险，OpenAI也给出了目前他们认为切实可行的解决方案，那就是建立一个人类水平的“自动对齐研究系统”，这样人类便能够依靠大量算力扩展研究工作，以实现对超级智能的控制和调整。
而创建这个自动对齐研究系统，则大致需要分为三步，包括开发可扩展的训练方法；验证生成模型结果，以及对整个对齐管道进行压力测试。
- 为了在人类难以评估的任务上提供训练信号，OpenAI决定利用人工智能系统协助评估其他人工智能系统。此外，他们希望能够了解并控制AI模型是如何将监督推广到人类研究员无法监督的任务上。
- 在验证自动对齐系统的一致性方面，可以搜索有问题的模型行为和出现问题的模型的内部结构。
- 最后，在完成上述的工作后，可以通过训练未对齐的模型来测试对齐系统的整个管道，并确认系统最终监测到的其余模型的未对齐行为，也就是我们熟知的对抗测试。
OpenAI表示，随着人们对AI模型不可控行为了解的深入，人类对于AI模型的研究重点可能将会发生实质性的变化，甚至有可能会演变出全新的AI研究领域。而在未来，公司也将随着研究的深入公开更多的研究路线及研究成果。
3、联合创始人带队的顶级天团
为了能够更好的构建这个自动对齐系统，OpenAI决定组建一个全新的顶级人工智能专家团队。团队将由OpenAI联合创始人兼首席科学家Ilya Sutskever以及OpenAI对齐团队负责人Jan Leike共同领导。
OpenAI联合创始人兼首席科学家Ilya Sutskeve
团队目前的其余成员，则包括此前在公司内部负责AI对齐的研究人员和工程师，以及来自其他研发团队的AI专家。并且在接下来的四年里，OpenAI决定将公司此后所获得算力的20%分配给该团队，用以完成新系统的训练。
这将会是一项关乎未来的赌注，而OpenAI最具价值的筹码便是这个正在组建的超级团队。公开博客中也提到，正确完成这项任务对实现OpenAI的使命至关重要，希望新团队包括其他内外部组织都能为之作出贡献，并最终将可靠的新方法推广部署到更多领域之中。
4、核心岗位重金招聘
而这篇博客中的另一个重点，则是OpenAI正在开展新团队核心岗位的对外招聘。博客中提到：“为了解决这个时代最重要的技术问题，我们需要世界上最优秀人才的帮助。如果你已经在机器学习领域取得了成功，这将是你为世界作出巨大贡献的机会。”
目前所公开的三个核心岗位包括研究工程师（research engineer）、研究科学家（research scientist）以及研究经理（research manager）：
研究工程师：年薪范畴24.5至45万美元。职责主要为机器学习训练代码的编写；进行机器学习实验及分析，以及与团队合作规划未来实验。细节方面则包括探索可扩展监督技术；研究管理数据集和模型奖励信号；预测模型行为以及设计对齐研究方法。
研究科学家：年薪范畴同样为24.5至45万美元。岗位职责主要为开发创新的机器学习技术，并为公司的研究愿景作出贡献。工作包括对齐研究实验的设计、研究方法总结；管理数据集，以及探索模型行为和设计新的实验方法。
研究经理：年薪范畴42至50万美元。主要负责管理由科学家和工程师组成的团队，整合大模型和超级智能研究成果。该角色需要能够规划和执行研究项目，指导团队成员，以及培养团队的多元化和包容性文化。
5、终极目标：四年内解决一切
但话说回来，尽管目前新团队的阵容已然非常强大，OpenAI也在不惜重金招贤纳士，但想要完成这项任务的难度也同样可想而知，就连山姆·奥尔特曼自己也坦言不敢保证最终能取得成功。
然而值得高兴的一点是，目前该团队的许多想法在初步实验中已经取得了一定成果，AI对齐的衡量标准也在一次次实验中变得愈加完善，甚至如今一些创新性方法已经被运用到了解决GPT4幻觉的实验之中。
对于团队的终极目标，OpenAI表示计划利用四年时间完成自动对齐系统的构建，并彻底理解和减轻现有AI大模型以及未来可能出现的超级智能的所有技术风险，包括AI滥用、经济破坏、虚假信息、偏见与歧视，以及人类对AI的过度依赖。
除此之外，OpenAI还提到在未来的研究过程中，除了在技术方面的探索外，新团队也将积极与外部的跨学科专家及组织进行合作，以确保将技术价值发挥到最大，尽可能解决AI除技术风险之外可能造成的广泛的人类及社会领域问题。
6、这个时代最重要的课题
归根结底，无论是目前OpenAI对超级智能的担忧，还是近来广被用户诟病的大模型幻觉问题，落到实处所表现出的其实都是现有技术在AI监管和治理能力上的不足，而这也是当前时代人类最亟待解决的一个课题。
随着ChatGPT将我们带入AI2.0时代，人工智能所能创造的价值也被抬升到了一个全新的高度。然而伴随着技术及应用的不断下沉，AI所带来的造假、幻觉、滥用等问题也在极大程度上暴露出了这项技术“双刃剑”的属性。
无论是现在还是将来，人工智能战略的终极追求除了AGI以外，更重要的一点正是完全的可解释性。正如一位网友在Twitter上所说，如果有一天我们真的创造出了一个过于强大的黑盒，那将给人类带来极大麻烦。
除此之外，解决AI系统的黑盒问题，也将成为未来科技巨头们竞争的核心战场。毕竟谁能够率先完成这项壮举，谁就有机会彻底占据现有市场，并将自己的AI产品及业务扩张到更多对手无法企及的蓝海领域。
当然，无论出于何种目的考虑，如今的OpenAI已经在这条道路上再次迈出了坚实的一步。与此同时，也让我们期待未来能够有更多具备强劲实力的企业加入这场意义重大的远征。
最后，如果你对于OpenAI新团队的招聘信息与岗位待遇感兴趣 ，可以从以下链接了解详情：https://openai.com/careers/search
参考链接：
https://openai.com/blog/introducing-superalignment#JanLeike
https://analyticsindiamag.com/openai-aims-to-achieve-superintelligence-before-2030/
