根据专家预测，Agentic AI将带来两到三倍于当前大语言模型(LLM)的生产力提升，因此2025年或将成为Agentic AI的元年。
然而，就如任何强大的新技术一样， Agentic AI具有巨大的潜力，但也存在着重大的安全风险。一旦这些自主系统偏离预期轨道，后果可能是灾难性的。我们该如何确保它们的决策是安全、可靠且符合伦理的？如何保护这些AI免受黑客攻击和数据污染？在拥抱Agentic AI的同时，我们又该如何重新定义网络安全和数据隐私？
Agentic AI的正反面
Agentic AI是指可以自主行动以实现特定目标的 AI 系统。与像 ChatGPT 这样简单处理和响应输入的传统 AI 模型不同，Agentic AI 具有一定的独立性和决策能力，可以感知环境并根据感知做出决策、采取行动实现预定目标、从经验中学习并调整行为，并与其他 AI Agent或人类互动以完成任务。
想象一下，未来由Agentic AI驱动的智能助理可以主动分析您的日程、习惯和偏好，为您量身定制高效的工作流程；在医疗领域，它们能够综合病人数据、最新研究成果，为医生提供个性化的诊断和治疗方案；在金融界，这些AI智能体可以实时分析市场动态，制定出精准的投资策略……
这不仅对已在试用该技术的大型组织是个好消息，随着技术日趋成熟，中小企业也将从中获益。普华永道声称，到2030年，这项技术每年可为全球GDP贡献2.6万亿至4.4万亿美元。
谷歌、英伟达和Anthropic等公司在最近几个月都宣布推出新工具。OpenAI首席执行官Sam Altman暗示AI智能体将在今年进入劳动力市场。
然而，随着AI系统从辅助性用例转向动态和主动自主运作，我们也需要保持谨慎。与在受控参数内的传统AI应用不同，AI智能体会与多个系统和外部数据源互动，可能会导致更广泛的攻击面、未经授权的访问和数据泄露。
威胁者将无情地瞄准不断扩大的AI攻击面，寻找漏洞和错误配置，以窃取训练数据和存储在"向量"数据库中的数据，并寻找机会污染数据/模型。一旦获得未经授权的访问权限，他们就可以向AI系统输入错误或有偏差的数据，从而操纵其行为/输出。供应链中使用的开源组件也可能引入恶意软件和/或漏洞，这也是一个风险。
与此同时，AI智能体的动态和互联性使实时威胁检测具有挑战性，往往超出了传统安全措施的能力范围。
七大风险点
安全牛总结认为，Agentic AI带来的风险点主要包括以下7个方面：
1. 扩大的攻击面: Agentic AI与多个系统和外部数据源交互，扩大了攻击面，增加了未经授权访问和数据泄露的风险。
2. 数据污染：操纵训练数据可能会损害AI智能体的行为，导致AI决策产生有偏差的结果或意外后果。
3. 受损的框架组件：AI框架使用的库或模块中的恶意代码可能会损害框架的功能，导致意外结果。
4. 缺乏监控和控制：在没有适当监控、日志记录和控制措施的情况下部署Agentic AI存在重大安全风险。
5. 规避安全AI智能体：恶意参与者可能会使用对抗性技术来绕过安全AI智能体，导致它们无法检测或正确响应威胁。
6. 受损的安全AI智能体：攻击者一旦控制了AI安全智能体，就可以利用它们执行恶意任务或禁用安全系统。
7. 数据隐私：AI智能体处理大量敏感信息，使得数据隐私成为一个主要关注点。组织必须实施严格的协议，包括数据最小化、加密和访问控制机制，以防止未经授权访问。
所有这些都可能导致数据泄露、勒索、服务中断以及严重的声誉和财务风险。
无意的失衡
但以上还不是全部。由于Agentic AI系统的价值在于它们可以自主运作，因此存在模型做出不可预测决策的风险。这就是所谓的"无意的失衡"，与有人故意试图利用AI进行攻击(例如通过提示注入或数据污染)的"有意的失衡"相对。
有许多令人担忧的无意失衡的例子。例如，一辆被编程为优先保护乘客安全的自动驾驶汽车，它可能会错误地将这些指令解读为为了避免与另一辆车发生轻微碰撞而闯入行人，从而导致更严重的事故。若未对资源消耗进行严格控制，Agentic AI 存在意外触发针对宿主系统的拒绝服务（DoS）攻击风险，典型场景包括过度生成子任务进行递归求解等行为。
RAG风险的警示
这些风险并非纯属理论。检索增强生成(RAG)的风险已经露出了冰山一角。RAG是另一种新兴的AI类型，与代理系统一样，旨在克服AI开发人员在使用LLM时遇到的局限性——即训练数据开始耗尽。RAG使用搜索算法查询第三方数据源(如网页和数据库)，处理所找到的内容，然后将其整合到预训练的LLM中。通过这种方式，它可以提供比传统LLM更准确、更新的答案，从而减少了幻觉的可能性。这就是为什么它在金融分析、患者护理和在线产品推荐等用例中越来越受欢迎。
为了运行，它利用了各种组件，包括LLM、LLM托管平台、开源代码和向量数据库，后者提供了关键的索引和检索功能。然而，这些组件存在着安全漏洞。除了已知的恶意或有漏洞的开源组件风险外，研究还发现了LLM托管平台Ollama在2024年就存在多个CVE漏洞。该平台每年有超过一千个新版本发布，这使得跟踪和修补这些漏洞变得困难重重。同一项研究还揭示了流行的向量数据库Weaviate存在漏洞。
该研究声称，发现了数十个运行开源LLM托管软件llama.cpp的服务器、数百个ChromaDB向量数据库实例，以及数千个错误配置的Ollama服务器。所有这些都暴露在互联网上，无需任何身份验证即可访问。对于Ollama，这可能使威胁者能够访问多达1.5万个独立的LLM。除了利用漏洞之外，这还为威胁者提供了一个诱人的机会来窃取敏感数据，并破坏、操纵或干扰AI服务。鉴于Agentic AI使用了许多与RAG相同的组件(包括LLM和向量数据库)，因此它可能面临着类似的威胁。
站在安全设计的角度
多年来，企业一直试图将AI风险转移到AI开发商身上，要求提供防护措施来最大限度减少大语言模型违反预期指令的可能性。但防护措施并非硬性安全控制，它们只是风险的先导，而非缓解措施。
那么，组织如何才能重新掌控主动权呢?最重要的是从安全设计的角度来处理AI。这意味着确保安全领导者在讨论新项目时就有一席之地；并且在启动任何新计划之前，都要进行数据保护影响评估(DPIA)。
首先，采取"人在回路"(human-in-the-loop)的方法，确保Agentic AI做出的关键决策能够由IT专家进行审查，并在必要时加以修正。实时监控AI的行为和性能，发现异常情况，供IT团队成员进行检查。定期审计AI系统也有助于确保它们做出正确对齐(而非有偏差或存在风险)的决策。
其次，重视治理也很重要，为AI的开发和使用提供道德指引，并定期审查是否符合这些规则。处理AI的员工应接受培训，提高他们对该技术的理解能力，并能够以符合道德、安全和可靠的方式使用它。
最后，组织应该寻求AI安全领导者的帮助，以缓解实时的网络相关风险。可以采用零信任的方法，以确保只有经授权的用户才能访问AI系统，并快速检测恶意活动，如提示注入和数据泄露/盗窃。
重新思考敏感数据管理和网络安全架构
在网络安全领域，Agentic AI 是一个范式转变，正在以前所未有的速度重塑着行业。当组织争相利用人工智能时，他们正在释放一股既革命性又潜在危险的力量。
在此背景下，组织在将Agentic AI整合到网络安全战略时，需要从根本上重新思考他们对敏感数据管理和网络安全架构的方法。
在Agentic AI系统时代，敏感数据将比以往任何时候都更加宝贵。因此，组织的关注重点需要从"先修补"的心态转移到以数据信任为中心，确保输送到人工智能系统的数据是准确、无偏差和安全的。这就需要实施健全的数据验证流程，维护清晰的数据系统，并定期审计数据源和人工智能模型。
为人工智能系统创建明确的可信和不可信区域至关重要：可信区域应该存放关键的人工智能模型和敏感数据，并实施严格的访问控制和监控；不可信区域可用于初步数据处理、实验性模型或与外部系统的交互。这种分离有助于控制潜在的入侵，并限制受损的Agentic AI系统带来的影响。
对数据访问和人工智能系统功能的精细控制也很重要。这不仅仅包括传统的基于角色的访问控制，还包括能够根据实时风险评估进行调整的上下文感知访问策略。确保Agentic AI系统只能访问执行特定任务所需的最少数据，并且它们的功能应该被严格定义和监控。
鉴于Agentic AI系统的自主性质，维护全面和不可变的人工智能活动审计跟踪很有必要。这些审计跟踪不仅要记录AI Agent采取的行动，还要记录导致这些行动的决策过程和数据输入。这种透明度对于问责制、故障排除和合规性都非常重要。
总而言之，随着Agentic AI 浪潮袭击全球组织，并逐渐嵌入越来越多的业务流程中，其出现问题的风险只会与日俱增。我们要提前应对这种风险，而不是等到它升级到对业务可能造成重大破坏时再来考虑对策。
