人工智能是一把 双刃剑。一方面，人工智能帮助人们更好更快地完成工作；另一方面，它也使心怀恶意的人成为诈骗者、黑客分子和网络罪犯。
零知识威胁行为者的崛起
网络犯罪业务利润丰厚；然而，传统上，只有拥有先进技术技能的人才能从事这一行业。只有在系统和软件、网络、编程、密码学、网络安全等多个技术领域拥有深厚知识和经验的人，才有能力开发恶意软件、识别漏洞、逃避网络安全防御并利用系统。随着人工智能的出现，这一准入门槛已大大降低。即使是那些没有黑客经验或技术专长的人也可以利用人工智能对企业发起攻击。
从对话到恶意软件创建
大多数大型语言模型 (LLM) 都内置了护栏，即将 AI 模型的行为限制在更安全的功能范围内的安全协议 。换句话说，AI 护栏有助于识别恶意输入或命令，防止威胁行为者滥用或利用该技术进行许多非法活动。
不幸的是，这些防护栏 并非万无一失。Cato CTRL的研究 表明，几乎任何没有恶意软件编码经验的人都可以操纵 OpenAI 的 ChatGPT、Microsoft Copilot 和 DeepSeek 等 LLM 来超越这些防护栏，并进行开发信息 窃取 恶意软件等恶意活动。
Cato CTRL 将这种新的越狱方法称为“沉浸式 世界”，本质上是一种 叙事工程 技术，用户要求 LLM 假设一个受限操作已标准化的环境。在演示中，Cato CTRL 研究人员指示 LLM 创建一个名为“Velora”的虚构世界，在这个世界中，恶意软件开发受到赞扬，并且没有采用或暗示任何法律限制或后果。接下来，研究人员创造了虚构的角色并为他们分配了各种任务和职责。通过不断的反馈、参与和迭代，我们说服该模型实现其目标，即构建一个能够从 Google Chrome 窃取凭据的有效信息窃取程序。
对于零知识威胁行为者来说，恶意软件的创建只是冰山一角
恶意软件的创建只是业余威胁行为者利用人工智能实现目标的起点。在不久的将来，新手将能够设计复杂的 社会工程 活动、分析目标环境、识别漏洞、选择攻击媒介、策划多阶段攻击、自动选择目标和执行攻击等。人工智能机器人将监控自己的操作，并根据对目标实体或环境的了解调整策略。
简而言之，由于人工智能的存在，低技能威胁行为者的数量及其专业知识将呈指数级增长。
组织可以做什么来反击？
零知识威胁行为者的崛起应该为组织敲响警钟——网络攻击只会变得更聪明、更厉害、更频繁。以下是一些可以提供帮助的建议和最佳实践：
- 提高员工意识： 开展培训课程，让员工了解人工智能威胁行为者日益增加的风险。进行模拟人工智能攻击和消防演习，以提高员工的警觉性和警惕性。
- 开展 AI 红队测试： 如果您的组织使用或创建 AI 工具，请针对恶意提示测试这些系统，并验证它们是否容易被越狱。投入时间和资源来预测 AI 攻击，并针对这些场景对系统进行压力测试。
- 实施整体安全： 部署像SASE这样的端到端安全系统 （而不是分散的工具）来监控、检测和分析整个 IT 基础设施（用户、云、设备、网络）中的恶意信号。
- 经常修补系统和软件： 确保组织中使用的工具和软件是最新和最好的版本。如果你不修复漏洞，人工智能驱动的对手肯定会找到并利用它们。
- 提高攻击准备程度： 积极主动且经过充分实践的事件响应计划不仅可以最大限度地减少损害，还可以增强组织对人工智能威胁不可预测性的抵御能力。
- 采用安全框架：遵循MITRE ATLAS、 OWASP Top 10 for LLM Applications 和 Google 的安全 AI 框架 ( SAIF )等坚定标准倡导的最佳实践 。
人工智能驱动的零知识威胁行为者的崛起标志着网络犯罪业务的转折点，复杂的攻击不再局限于熟练的攻击者。通过进行红队演习、实施提供深入可见性和对攻击面的全面控制的整体安全系统以及提高攻击准备度，组织可以确保在这个人工智能驱动的网络犯罪新时代为当前和未来的挑战做好准备。
