以ChatGPT为代表的基于LLM(大语言模型)的生成式人工智能应用正风靡全球，各行各业都在争先恐后将其集成到前端和后端的各种系统中，与此同时生成式人工智能面临的安全风险也正随着其热度上升而凸显。
生成式人工智能自身正面临提示注入等多种攻击，很可能给企业带来数据泄露、内容安全、版权侵犯等新兴威胁。此外，由于生成式AI与生俱来的“黑匣子”特性，伴随“AI军备竞赛”快速成长的自主AI系统越来越难以监管，随时有可能失控并带来灾难性后果。
白宫发布AI监管总统令
2023年10月30日，美国总统拜登发布了《关于安全、可靠和值得信赖地开发和使用人工智能的行政命令》，同时七国集团领导人发表了联合声明，支持2023年5月“广岛进程开发先进人工智能系统组织国际行为准则。”
白宫的总统行政命令以白宫之前对人工智能的参与为基础，并为行业和政府提供了指导方针。那些涉及国家安全的实体应特别关注人工智能技术的双重用途可能性。该行政命令指出了七个重要议题(其中安全问题排在第一位)：
- 确保安全。
- 保护美国人的隐私。
- 促进公平和公民权利。
- 维护消费者和工人的利益。
- 促进创新和竞争。
- 提升美国在海外的领导地位。
- 确保政府负责任且有效地使用人工智能。
谁来监管人工智能
人工智能监管的第一步是设定标准，因此美国国家标准与技术研究院(NIST)首当其冲，白宫总统行政命令明确指示NIST开发人工智能指南和最佳实践，以促进达成共识的行业标准，确保安全、可靠和值得信赖的人工智能的开发和部署。
与此同时，白宫国家网络主任办公室在社交媒体上给出了其对总统行政命令的理解：“今天的行政命令为人工智能安全、保护美国人隐私、促进公平和公民权利制定了新标准——它维护消费者和工人的利益，促进创新和竞争，提升美国在世界各地的领导地位。”
美国国土安全部则发布了情况说明书，解释了该行政命令及其职责，重点强调了以下三大关键措施：
- 成立人工智能安全咨询委员会(AISSB)，以“支持人工智能的负责任发展。该委员会将汇集来自人工智能硬件和软件公司、领先研究实验室、关键基础设施实体和美国政府的杰出行业专家。”
- 致力于制定人工智能安全指南，供关键基础设施所有者和运营商使用。
- 利用人工智能改善美国网络防御的潜力，强调CISA如何积极“利用人工智能和机器学习(ML)工具进行威胁检测、预防和漏洞评估”。
另外，美国网络安全和基础设施安全局(CISA)在自己的社交媒体帖子中强调，它将“评估与使用人工智能相关的可能风险，为关键基础设施部门提供指导，利用人工智能改善美国网络防御的潜力，并制定建议红队测试生成人工智能。”
人工智能企业的九大安全政策
美国总统行政命令还提到了本周三开幕的英国人工智能安全峰会，该峰会将汇集世界领导人、科技公司和人工智能专家，“促进关于人工智能的重要对话”。
人工智能安全峰会呼吁研发先进人工智能技术的企业重视九大人工智能安全政策：
- 风险管理框架。为组织提升前沿人工智能系统的能力提供一个风险管理框架，使公司能够在未来潜在的、更危险的人工智能风险发生之前做好准备。
- 模型评估和红队测试可以帮助评估人工智能模型带来的风险，并为有关训练、保护和部署模型的更好决策提供信息。
- 模型报告和信息共享可提高政府对前沿人工智能开发和部署的可见性，并使用户能够就是否以及如何使用人工智能系统做出明智的选择。
- 包括保护模型权重在内的安全控制是人工智能系统安全的关键基础。
- 漏洞的报告机制有助于外部人员识别并报告人工智能系统中的安全问题。
- 人工智能内容标记。人工智能生成内容需要添加标识符，用于识别该内容是否由人工智能生成或修改，有助于防止欺骗性人工智能生成内容的创建和分发。
- 优先研究人工智能带来的风险将有助于识别和解决前沿人工智能带来的新风险。
- 防止和监控模型滥用非常重要，因为人工智能系统一旦部署，可能会被故意滥用，造成有害结果。
- 数据输入控制和审计可以帮助识别和删除可能增加先进人工智能系统危险能力和风险的训练数据。
CISO应该注意什么
在人工智能强监管时代，CISO需要高度重视人工智能安全产品相关的合规问题，CISO应该严格审核和评估网络安全产品，并要求安全厂商为安全产品中整合的AI/ML技术提供出处和可证明的测试结果。此外，鉴于全球人工智能监管政策的流动性，缺乏跨境协调是一个现实问题，如果各地区或国家之间的指导和法规存在差异，可能会导致下游合规问题。
