人工智能（AI）和机器学习（ML）已经进入企业环境。
根据IBM 的《2024 年人工智能在行动》报告，两大群体正在加入人工智能：领导者和学习者。领导者看到了可量化的成果，三分之二的人报告收入增长了 25%（或更多）。与此同时，学习者表示他们正在遵循人工智能路线图（72%），但只有 40% 的人表示他们的高管完全了解人工智能投资的价值。
他们有一个共同点？那就是数据安全挑战。尽管他们在人工智能和机器学习方面取得了成功，但安全仍然是首要关注的问题。原因如下。
全速前进：人工智能和机器学习如何变得更智能
从历史上看，计算机按照指令行事。跳出思维定式不是一种选择——代码行决定了什么是可能的和允许的。
AI和ML模型采用了不同的方法。AI 和 ML 模型没有严格的结构，而是有一般的指导方针。公司提供大量训练数据，帮助这些模型“学习”，从而提高其输出。
一个简单的例子是用于识别狗图像的 AI 工具。底层 ML 结构提供了基本指导——狗有四条腿、两只耳朵、一条尾巴和毛皮。数千张狗和非狗的图像被提供给 AI。它“看到”的图片越多，它区分狗的能力就越强。
脱轨：未经授权的模型修改的风险
如果攻击者能够访问 AI 模型，他们就可以修改模型输出。请考虑上述示例。恶意行为者会破坏业务网络，并用未标记的猫图像和错误标记为狗的图像充斥训练模型。随着时间的推移，模型准确性会受到影响，输出不再可靠。
《福布斯》报道了最近的一场比赛，黑客试图“越狱”流行的人工智能模型，并诱骗它们产生不准确或有害的内容。生成工具的兴起使这种保护成为优先事项——2023 年，研究人员发现，只需在查询末尾添加一串随机符号，他们就可以说服生成人工智能 (gen AI)工具提供绕过模型安全过滤器的答案。
而且这种担忧不仅仅是概念上的。正如The Hacker News所指出的，一种名为“Sleepy Pickle”的攻击技术对 ML 模型构成了重大风险。通过将恶意负载插入 pickle 文件（用于序列化 Python 对象结构），攻击者可以更改模型权衡和比较数据的方式并更改模型输出。这可能使他们能够生成对用户造成伤害的错误信息、窃取用户数据或生成包含恶意链接的内容。
坚持到底：提高安全性的三个要素
为了降低人工智能和机器学习受损的风险，有三个要素至关重要：
1）保护数据
准确、及时和可靠的数据是可用模型输出的基础。然而，集中和关联这些数据的过程为攻击者创造了一个诱人的目标。如果他们能够渗透到大规模人工智能数据存储中，他们就可以操纵模型输出。
因此，企业需要能够自动、持续监控人工智能基础设施以发现受损迹象的解决方案。
2）保护模型
人工智能和机器学习模型的更改可能会导致输出看似合法，但实际上已被攻击者修改。在最好的情况下，这些输出会给客户带来不便并减慢业务流程。在最坏的情况下，它们可能会对声誉和收入产生负面影响。
为了降低模型操纵的风险，组织需要能够识别安全漏洞和检测错误配置的工具。
3）确保使用安全
谁在使用模型？使用什么数据？用于什么目的？即使数据和模型是安全的，恶意行为者的使用也可能使公司面临风险。持续的合规性监控对于确保合法使用至关重要。
充分利用模型
AI 和 ML 工具可以帮助企业发现数据洞察并增加收入。然而，如果模型受到攻击，它们可能会被用来提供不准确的输出或部署恶意代码。
借助Guardium AI 安全，企业可以更好地管理敏感模型的安全风险。了解具体方法。
