超级智能的发展是科学家们争论不休的话题。超级智能是从更传统的通用人工智能(AGI)概念演变而来的。这种功能强大的技术可能在目前的十年内出现，可能解决重大的全球问题，也可能导致人类的权力丧失或灭绝。
OpenAI(美国人工智能研究公司)的战略包括创建一个具有人类水平能力的自动对齐研究人员，并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能对齐，需要人工智能对齐技术的创新、广泛的验证和对抗性压力测试。
OpenAI正在投入大量资源和研究来应对这一挑战，并鼓励杰出的研究人员和工程师共同努力。然而，术语从通用人工智能到超级智能的转变，是否会对围绕人工智能风险和收益的持续争论产生深远影响，还有待观察。
OpenAI强调了超级智能的潜力，它可能是有史以来最有影响力的技术，能够解决重大的全球问题。然而，它也承认与超级智能相关的巨大风险，人类被剥夺权力甚至灭绝。
尽管超级智能看似遥远，但OpenAI相信它可能会在这十年内出现。管理这些风险需要新的治理机构，并应对使超级智能与人类意图保持一致的挑战。有趣的是，OpenAI使用的是这个术语，而不是更传统的通用人工智能(AGI)。他们的理由如下：
在这里，我们关注超级智能，而不是通用人工智能，以强调更高的能力水平。在未来几年里，我们对这项技术的发展速度有很多不确定性，所以我们选择瞄准更困难的目标，以校准一个更有能力的系统。
当前的人工智能对齐技术，例如根据人类反馈进行强化学习，不足以控制潜在的超级智能人工智能。人类无法可靠地监督比我们聪明得多的系统，现有技术也无法扩展到超级智能。OpenAI强调需要科学和技术突破来克服这些挑战。
OpenAI的方法涉及构建一个具有大致人类水平能力的自动对齐研究人员。大量的计算资源将被用来扩展他们的努力，并迭代地调整超级智能。关键步骤包括开发可扩展的训练方法、验证生成的模型以及对对齐管道进行压力测试。根据OpenAI公告的标题，这个概念被称为超级智能对齐。
为了解决评估对人类具有挑战性的任务的困难，可以采用人工智能系统进行可扩展的监督。将监督推广到无监督任务，以及检测有问题的行为和内部结构，对于验证一致性至关重要。对抗性测试，包括训练未对齐的模型，将有助于确认对齐技术的有效性。
OpenAI预计，随着对该问题的了解越来越多，其研究重点将会发生变化，并且他们计划在未来分享他们的路线图。他们组建了一支由顶尖机器学习研究人员和工程师组成的团队，致力于解决超级智能对齐问题。OpenAI将在未来四年内将其20%的安全计算投入到这项工作中。
虽然不能保证成功，但OpenAI仍然乐观地认为，集中一致的努力可以解决这个问题。他们的目标是提供证据和论据，让机器学习和安全社区相信问题已经解决，他们正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI鼓励杰出的研究人员和工程师，即使是那些以前没有从事过对齐工作的人，也加入到他们的努力中。他们认为超级智能对齐是最重要的未解决的技术问题之一，并认为这是一个易于处理的机器学习问题，具有重大贡献的潜力。
关于人工智能、通用人工智能以及从实用到人类毁灭等复杂的相互关联问题，激烈争论似乎正在形成新的裂痕。如今，词汇已经发生了一些变化，但尚不清楚这是科学还是语义。
