译者 | 李睿
审校 | 重楼
人工智能正在彻底改变软件即服务(SaaS)应用程序的工作方式，使它们比以往任何时候都更加高效和自动化。然而，这种快速发展也打开了新的安全威胁的潘多拉魔盒。从对数据的恶意操纵到人工智能模型的逐渐退化，这些漏洞是人工智能驱动的SaaS所独有的，需要人们高度关注。本文将深入研究这些风险，查看现实世界的示例，并讨论保护这些人工智能驱动的解决方案的实用方法。
本文将重点关注：
- 数据中毒：操纵训练数据以损害人工智能模型行为，例如微软Tay聊天机器人事件。
- 利用人工智能模型中的漏洞：针对人工智能模型弱点的对抗性攻击，例如面部识别和自动驾驶汽车的研究。
- 访问控制和数据泄露：由于安全措施不足，未经授权访问或泄露敏感用户数据，例如Equifax数据泄露和谷歌的GDPR罚款。
- 供应链攻击：利用第三方软件组件的漏洞渗透系统，例如破坏性的SolarWinds攻击。
- 模型漂移：由于真实世界数据的变化，人工智能模型准确性随着时间的推移而下降，这一点在新冠疫情期间面临的挑战中得到了突出体现。
1.数据中毒
数据中毒指的是对训练数据的恶意操纵，以损害人工智能模型的完整性和功能。通过注入精心制作的虚假或误导性信息，网络攻击者可以潜移默化地影响模型的行为，导致不准确的预测、错误的决策，甚至泄露敏感数据。
现实示例
2016年，微软公司的人工智能聊天机器人“Tay”为数据中毒的危险提供了一个鲜明的例证。
Tay的设计初衷是在推特（Twitter）上进行随意的对话，但却被恶意行为者操纵，他们采用攻击性和煽动性的信息轰炸Tay。这些攻击者利用Tay的“跟我说”功能及其学习能力，有效地毒害了这种聊天机器人的训练数据，使其鹦鹉学舌地模仿仇恨言论和歧视性言论。在上线几个小时后，Tay的推文变得令人反感，以至于微软被迫将其下线。这一事件为数据中毒的潜在后果敲响了警钟，凸显出必须采取强有力的防范措施，以防止对人工智能模型的恶意操纵。
缓解策略
- 稳健的数据验证：实施严格的数据验证技术（例如异常检测算法），可以帮助识别和删除可疑的数据点，以免它们污染训练过程。
- 数据来源跟踪：维护数据源和任何修改的详细记录可以帮助追踪潜在中毒企图的来源，并在必要时恢复到干净的备份数据。
- 对抗性训练：在训练期间将人工智能模型暴露于各种潜在的攻击场景中，可以增强其对数据中毒尝试的抵御能力。
- 人工循环审查：定期审查模型输出并寻求人工反馈可以帮助发现和纠正由数据中毒引起的任何意外偏差或错误。
2.利用人工智能模型中的漏洞
对抗性攻击专门针对这些模型中的漏洞，旨在欺骗它们泄露敏感信息、执行意外操作或绕过安全措施。网络攻击者通过精心设计输入来实现这一点，这些输入利用了模型逻辑和决策过程中的弱点。
现实示例
考虑在以安全为重点的SaaS应用程序中用于身份验证的面部识别软件。恶意行为者可以创建对抗性图像（例如具有难以察觉的变化的图像），从而欺骗人工智能模型错误识别个体。Sharif等人在2024年发表的研究报告(https://arxiv.org/pdf/2404.17760)展示了如何通过添加几乎不可见的眼镜等细微元素来欺骗此类系统。这一漏洞可能导致未经授权的访问和潜在的数据泄露。
另一个示例
在2018年的一项研究中，Eykholt等人(https://arxiv.org/abs/1707.08945)通过在停车标志中添加细微的扰动，暴露了自动驾驶汽车系统的漏洞，导致人工智能将其误解为限速标志。这样的攻击可能会在现实世界中造成可怕的后果，凸显了解决这些漏洞的迫切需要。
缓解策略
- 对抗性训练：通过在训练期间将人工智能模型暴露于各种对抗性示例中，开发人员可以增强其识别和抵抗此类攻击的能力。这种“疫苗接种”方法可以显著提高模型的鲁棒性。
- 持续监测：对人工智能模型在现实场景中的表现进行持续监测至关重要。检测异常或意外行为可以发出攻击成功的信号，从而允许及时调查和缓解攻击。
- 输入验证：实现健壮的输入验证技术可以在人工智能模型到达之前过滤掉潜在的有害或对抗性输入。
- 防御层：采用多层防御，例如将基于人工智能的检测与基于规则的系统相结合，可以创建更具弹性的安全框架。
3.访问控制和数据泄漏
人工智能驱动的SaaS应用程序通常依赖于大量的用户数据才能有效运行。然而，不充分的访问控制或平台内的漏洞可能会使这些敏感数据暴露给未经授权的访问、盗窃或泄漏，从而对用户隐私和安全构成重大威胁。
现实示例
想象一下，将人工智能营销工具集成到SaaS平台中。为了提供个性化的建议和见解，该工具可能需要访问大量的客户数据，包括购买历史记录、人口统计数据和浏览行为。如果访问控制较弱或配置错误，网络攻击者可能会利用这些漏洞获得对该数据的未经授权的访问。这样的漏洞可能导致身份盗窃，有针对性的网络钓鱼诈骗，甚至在暗网上出售这些数据。2017年发生的Equifax数据泄露事件泄露了数百万美国人的个人信息，这清楚地提醒人们访问控制不足的潜在后果。
另一个示例
2019年，根据欧盟的《通用数据保护条例》(GDPR)，谷歌公司由于为广告个性化收集的用户数据缺乏透明度和控制而被罚款5000万欧元。这强调了健壮的访问控制和以用户为中心的数据管理实践的重要性。
缓解策略
- 最小权限原则(PoLP)：实现PoLP确保用户只被授予执行其特定任务所需的最低级别的访问权限。如果网络攻击者破坏了用户的凭据，这将最大限度地减少潜在的损害。
- 强身份验证：采用多因素身份验证(MFA)增加了额外的安全层，要求用户提供多种形式的验证来访问敏感数据或功能。
- 数据加密：对静态(存储在服务器上)和传输(通过网络传输)的数据进行加密，即使网络攻击者设法破坏系统，也很难破译。
- 定期审计和监控：对访问日志进行定期安全审计和持续监控，有助于在可疑活动或潜在漏洞被利用之前识别它们。
- 数据最小化：将用户数据的收集和存储限制在应用程序功能所必需的范围内，以降低数据泄露的风险。
4.供应链攻击
人工智能驱动的SaaS应用程序通常依赖于外部软件组件、库和依赖关系的复杂网络。如果这些依赖关系被破坏，可能会成为攻击者的切入点，使他们能够渗透到SaaS平台，操纵人工智能模型的行为，甚至访问敏感的用户数据。
现实示例
2020年SolarWinds公司遭受的网络攻击是供应链漏洞破坏性影响的一个令人不寒而栗的例子。在这次复杂的网络攻击活动中，攻击者渗透到网络管理软件供应商SolarWinds系统中，并将恶意代码注入其Orion平台更新中。这些更新随后在不知情的情况下分发给数千名SolarWinds客户，其中包括政府机构和财富500强公司。
网络攻击者利用这种后门访问来窃取敏感数据，安装额外的恶意软件，并在受损的网络中横向移动。几个月来，这次攻击一直未被发现，造成了广泛的破坏，并引发了人们对软件供应链安全的严重担忧。这一事件凸显了攻击者利用可信软件中的漏洞访问庞大的互联系统网络的可能性，从而放大了漏洞的不良影响。
缓解策略
软件物料清单(SBOM)：维护所有软件组件的全面清单，包括它们的版本和依赖关系，使组织能够在发现漏洞时快速识别和修补漏洞。
- 对第三方供应商进行严格的安全审计：对任何将其软件集成到SaaS平台中的第三方供应商进行彻底的安全评估至关重要。这有助于确保这些外部组件满足与核心应用程序相同的安全标准。
- 依赖项扫描：利用自动化工具扫描依赖项中的已知漏洞，可以提供潜在风险的早期预警信号。
- 安全的软件开发实践：采用安全的编码实践遵守行业标准可以帮助降低引入软件供应链的漏洞风险。
- 零信任架构：实现零信任安全模型，该模型假设没有隐含信任，需要持续验证，可以通过限制系统内的横向移动来限制供应链攻击的潜在损害。
5.模型漂移
现实世界的动态性对部署在SaaS应用程序中的人工智能模型提出了重大挑战。随着时间的推移，这些模型训练的数据分布和模式可能会与现实世界的数据产生偏差。这种被称为模型漂移的现象会削弱人工智能模型的准确性和有效性，可能会使理解这些差异的攻击者利用它们进行攻击。
现实示例
新冠疫情清楚地说明了模型漂移带来的挑战。2020年初，随着新冠病毒在全球迅速传播，消费者行为发生了巨大变化。恐慌性购买导致卫生纸和洗手液等必需品囤积，而封锁导致在线快递服务和家庭娱乐需求激增。这些突然的变化打乱了许多人工智能需求预测模型从历史数据中学到的模式，导致其预测出现严重不准确。
例如，依靠人工智能来预测库存水平的零售商发现，他们面临着高需求商品的短缺和不受欢迎的产品的库存过剩。同样，使用人工智能进行欺诈检测的金融机构也在努力适应新冠疫情之后出现的新的欺诈活动模式。这凸显了持续监测和再培训人工智能模型的重要性，以确保它们在面对意外中断和不断变化的现实世界条件时的相关性和准确性。
缓解策略
- 持续再训练：使用新鲜的、有代表性的数据对人工智能模型进行定期再训练，对于保持其准确性和相关性至关重要。通过结合最新的数据趋势和模式，模型可以适应不断变化的现实世界。
- 性能监控：采用强大的监控系统实时跟踪模型的性能，以便及早发现精度下降或意外行为。这些信号可以触发调查和潜在的再训练，以减轻模型漂移。
- 概念漂移检测：利用技术来明确识别底层数据分布的变化(概念漂移)，可以为模型更新和改进提供有价值的见解。
- 模型集成：利用在不同数据集上训练具有不同优势的多个人工智能模型，可以帮助弥补单个模型的弱点，并提高对漂移的整体弹性。
进一步阅读
- "Adversarial Machine Learning at Scale"
- "Towards Federated Learning at Scale: System Design"
- NIST AI Risk Management Framework
原文标题：Security Challenges in AI-Powered Applications，作者：Mayank Singhi
