研究发现，自2023年4月至2024年1月期间，AI/ML 工具使用量飙升了594.82%。在2024大模型应用元年，多参数、高精度的 AI 大模型成就新质生产力的同时，也暴露出了诸多更复杂的安全风险。基于负责任的 AI 伦理需求，保障 AI 大模型的可靠实用、安全真实，不仅成为亟待突破的智能化瓶颈，也是保障数字化安全的关键课题。
延伸阅读，点击链接了解 Akamai API Security
Akamai“蜀”智出海，从“蓉”上云主题分布式云战略高峰论坛上，上海观安信息网络安全专家，OWASP 上海分会主席王文君先生，围绕 AI 大模型本身的安全问题，系统梳理了当下泛滥的 AI 大模型十大威胁，并提出了制度先行、实践框架、安全工具三个层次的安全产业合作策略。
AI 大模型风险图形化
提示词注入攻击过程中，攻击者会通过刻意输入恶意提示词，操纵大型语言模型，导致大模型执行意外操作，输出敏感信息。具体类别分为直接注入和间接注入。提示词直接注入，会覆盖系统提示词；而间接注入，会隐藏恶意指令，通过文档、网页、图像等载体进行注入攻击，绕过大模型的安全检测机制。
间接提示词注入，更考验黑客的思维创造能力，通常隐藏着更大危害。由于训练成本与获取实时数据的瓶颈问题，大模型应用过程中多涉及与插件操作，一旦大模型用插件去访问被攻击者操控的目标网站，攻击者 payload 返给大模型处理后，大模型用户将可能遭遇数据泄露等威胁。
透视不安全的输出处理攻击路径，黑客会精心构造恶意查询输入大模型，当大模型输出未经处理而被上游系统直接使用，则会出现此漏洞暴露上游系统，返回带有恶意代码的输出，此类滥用可能会导致 XSS、CSRF、SSRF、权限升级或远程代码执行等严重后果。
黑客可能会使用包含提示注入指令等网站摘要提取工具，捕获用户对话敏感内容；后续大模型直接将响应传递给插件做恶意操作，而没有适当的输出验证，则会加剧风险。因此一旦产生敏感信息、集成代码等不安全的输出处理时，不应该盲目信任、直接渲染，可能要做一些过滤、分析来进行处理。
数据、算法、算力，是人工智能“三驾马车”。训练数据投毒，是污染 AI 大模型的恶劣手段，会严重破坏 AI 向善格局。黑客会操纵预训练数据或在微调或嵌入过程中涉及的数据，以引入可能危害模型安全性或道德行为的漏洞、后门或偏见内容。
投毒的信息可能会被呈现给用户，或者造成其他风险，如性能下降、下游软件滥用和声誉损害。恶意行为者或竞争对手，故意针对大模型的预训练、微调或嵌入数据进行投毒，使之输出不正确的内容。而另一种攻击场景，可能是大模型使用未经验证的数据进行训练，则会致使虚假信息泛滥。
如果说训练数据投毒是对 LLM 资源的污染，那么大模型拒绝服务就是对资源的浪费。在此过程中，攻击者会对大模型进行资源密集型操作，导致服务降级或高成本。由于 LLM 的资源密集型性质和用户输入的不可预测性，该漏洞可能会被放大。
攻击者持续不断地向大模型发送消耗资源的操作（生成图像和视频），攻击者会通过制作利用大模型递归行为的输入，占用大量计算资源。在应用高峰期，大模型拒绝服务循环运转的话，将会对大模型的常态性能造成巨大冲击。
供应链风险是近年来的热门安全话题，不只是与勒索软件形成协同威胁，还会渗透至大模型应用程序的生命周期中，通过薄弱环节的组件或服务生成攻击。使用第三方数据集、预先训练的模型和插件，都有可能引起大模型应用的供应链风险。譬如，攻击者利用 PyPi 软件包发布恶意库，对Hugging Face市场上的大模型文件进行反序列化，篡改了一个公开可用的预训练模型，将诱饵部署在 Hugging Face 模型市场上，等待潜在受害者下载使用。
大模型应用程序根据用户输入查询，可能会输出敏感信息，可能导致未经授权访问敏感数据、知识产权，侵犯隐私和其他安全漏洞。攻击者通过精心设计的一组提示词，向大模型发送间接提示词注入，会绕过防护机制，没有通过脱敏而泄漏到训练模型中去。大模型的重要应用场景，便是扮演个人办公助手，通过处理邮件、自动汇总会议信息等方式，释放企业员工的生产力。围绕该场景，黑客可能借助插件获取受害者的邮件，窃取用户的敏感信息。配合上网络钓鱼与虚假网站，黑客的社会工程攻击会产生更大的破坏力。
插件的存在，拓展与繁荣了大模型创新生态，但若缺失对相关调用 API 的安全管控，会带来显著危害。而大模型插件一旦未正确处理输入以及没有充分进行权限控制，攻击者便可以利用漏洞进行攻击，如远程代码执行。
启用大模型插件时，会在用户与大模型交互时自动调用。插件接受来自大模型输入文本而不进行验证，这使得攻击者可以构造恶意请求发送给插件，造成高风险威胁。如天气预报插件接受基本 URL 获取天气情况，黑客通过精心构造 URL 指向控制域名执行命令，会影响下游插件，若使用间接提示注入来操纵代码管理插件，可造成删库风险。
凡事适度，即便身处大模型时代，过于相信大模型也会陷入过度代理的险境。造成此类风险的根本原因通常是功能过多、权限过多或自主权过多。过度代理会允许在大模型在出现意外时（如通过直接或间接提示注入等）会执行破坏性操作。针对 AI 大模型扮演个人智能助理场景，社会工程类攻击者会编造一封邮件内容发给用户。个人助理进行处理后，若没有限制大模型的发送邮件功能，可能发送垃圾邮件/钓鱼邮件给其他用户，而文档的插件会允许用户执行删除操作，而无需用户的任何确认。
过度代理不可取，过度依赖不可信。虽然大模型可以生成创意内容，但它们也可能是生成不准确、不适当或不安全的内容幻觉。过度依赖大模型可能会导致错误信息、法律问题和安全漏洞。相信不少大模型用户都会遇到过大模型“一本正经地胡说八道”的 AI 幻觉时刻。无意识的 AI 可能会进行内容剽窃，导致版权问题和对组织的信任度下降。例如，软件开发公司使用大模型来协助开发者，同时开发人员完全信任 AI，可能无意中将恶意包集成到公司的软件中，这将会埋下隐蔽的风险隐患。
模型失窃威胁，是指具有知识产权的私有大模型被盗取、复制或权重和参数被提取，以创建一个功能等效的模型。这将损害创新企业的经济和品牌声誉、削弱竞争优势，以及致使黑客对模型进行未授权使用、盗取一些垂直领域的敏感信息等。
鉴于全球已发生多起使用AIGC导致的数据泄露事件，多国合规机构升级监管要求，当下维护 AI 大模型的安全性与可靠性，是保障各行业由数字化迈向智能化的关键安全基础。以 AI 抗击 AI 是当下的主要安全策略，2024年 RSAC 创新沙盒大赛冠军Reality Defender网络安全公司的深度伪造检测平台，即善用多模型支持政府和企业检测 AI 生成的虚假内容，已然成为网络安全的新风向。Akamai 首席执行官兼联合创始人汤姆·莱顿指出，大模型提速升级的当下，短期内黑客可能获得不对称的优势；但基于 Akamai AI 智能化产品，能支持客户去检测异常与受攻击情况，监测撞库攻击、盗号等情况。在未来，Akamai 也将持续对 AI 与云服务进行创新融合，构建更为稳固的安全防线。
—————————————————————————————————————————————————
如您所在的企业也想要进一步保护API安全，
点击链接 了解Akamai的解决方案
