经验丰富的激流漂流练习者都知道，当他们到达河湾听到哗哗的水声但却看不到前方有什么的时候，就是把船停到最近河岸并观察路线的好时机。在当前生成式AI使用场景呈现爆炸式增长的背景下，网络安全行业也进入到这种“湍流”时刻。
近日在美国拉斯维加斯举办的Black Hat 2023网络安全大会期间，这一点得到了充分的印证，有多位演讲者都谈到了快速变化的AI领域，特点就是问题多于答案。
威胁行为者是否正在积极使用ChatGPT？有可能，但迄今为止证据还很少。大型语言模型是否会被毒害而产生恶意行为？当然，但他们是如何操控模型进行最大限度的攻击，这一点还在研究中。
尽管目前还存在不确定性，但安全研究人员和高管们都明确一点：生成式AI将重塑网络安全世界，这是一场很少有人能想象到的变革。
三年前，McAfee公司和FireEye公司前首席执行官、NightDragon创始人Dave DeWalt曾提出网络安全“超级周期”，将其描述为推动网络安全行业增长的关键时期，他还谈到了当前AI浪潮背后的意义。
DeWalt说：“威胁无处不在，生成式AI创造了这个全新的模型。这个超级周期看起来可能是我见过的最大的周期之一。”
实践分析
安全研究人员一直在努力收集信息，以便更清楚地了解生成式AI日益普及而引发的新兴威胁。在这次Black Hat大会上，很多公司设立了实验室，供与会者试验涉及AI的各种安全技术。Nvidia DGX系统在如何完善数据和应对AI方面发挥了重要作用，这次Nvidia合作举办了多场研讨会，供研究人员审查安全性并试验AI安全工具。
随着恶意行为者开发和部署复杂威胁行为的能力不断提高，实践研究也迫在眉睫。在一次会议演讲中，研究人员让我们一睹了类人数字孪生的风采，也就是在线角色创建，有时甚至配备100%数字生成的假照片，以实现逼真的对话互动。
来自Beyond Layer Seven的研究人员描述了一个恶意行为者利用AI冒充在线服务治疗师并说服一名用户自杀的事件。
中佛罗里达大学应用神经科学家Ben Sawyer博士在演讲中表示：“人类可以攻击这些模型，而这些模型可以很快变成高级威胁行为者，数字孪生显然有能力攻击人类，这是一种真正全新的生态系统，并且发展非常迅速。”
通过生成AI模仿人类互动的能力，也为网络钓鱼攻击注入了强大动力。在一个演讲中，哈佛大学的一名研究人员提供了证据表明，大型语言模型使得以前欺诈性电子邮件中发现的拼写错误或错误语法的相关线索，现在已经完全消失。
哈佛大学哈佛工程与应用科学院研究员Fredrik Heiding说：“现在创建非常高效的网络钓鱼电子邮件变得非常容易，而且你不需要具备太多知识。”
在社会工程领域利用数据
复杂的网络钓鱼攻击所造成的损害和社会工程这个更广泛的用途相比，就会显得黯然失色了。安全研究人员越来越关注使用生成式AI传播虚假信息或者以编程方式控制舆论（通常是社交媒体渠道实现的）。
F5公司全球情报负责人Dan Woods在接受采访时表示：“这是一种非常非常严重的威胁，我们都会受到影响而相信不真实的事情。我认为社交媒体公司存在虚假账户的重大问题，现在这还没有引起足够的重视。”
安全界的一个担忧是，生成式AI已经打开了收集大量信息的闸门。ChatGPT和其他强大的AI引擎依赖于大量数据的摄取，这些数据是通过网络抓取收集的或从海量数据集中上传的，用于训练模型。
Zoom Video Communications公司最近澄清了他们有关AI数据收集的做法，此前该公司的服务条款发生了变化，无需事先获得用户许可即可将信息用于训练模型。
Black Hat大会观察：网络安全世界AI威胁导致问题丛生
Jeff Moss
DEF CON Communications总裁、Black Hat创始人Jeff Moss在开场主题演讲中表示：“他们现在可以用我在Zoom上所做的事情来训练他们的系统。我对此并不满意，但我无法按下按钮说‘兄弟，别训练我’，这将是未来互联网上的一场战斗。”
政府加入其中
海量数据收集和AI使用带来越来越多的威胁，这导致监管方面的措施也在增加。在欧洲，立法方提出了AI Act人工智能法案，其中详细规定了在训练模型中使用的受版权保护数据将是公开可用的。
近几个月来，开源成了受到监管机构特别关注的一个领域。欧盟目前正在考虑批准Cyber Resilience Act法案，该法案旨在通过针对具有数字元素的产品制定通用标准来改善欧盟的网络安全状况。
然而，当前的提案将要求开源开发者对商业产品的安全问题承担责任，Sonatype公司联合创始人、首席技术官Brian Fox认为，这一条款是给欧盟的开源领域敲响了“丧钟”。
Fox说：“我不知道未来会如何发展，但我们现在面临的挑战是要提高认知，人们需要关心这个事件并发出自己的声音。”
开源安全在美国也开始受到更多关注。近日，美国国家网络主任办公室（ONCD）发布了一份信息请求，以更好地了解开源安全并制定改进政策。
ONCD代理国家网络总监Kemba Walden也在这次Black Hat大会上露面，他表达了自己对于开源开发者社区内部安全问题没有得到解决的惊讶。
Walden说：“我很惊讶地发现，开发者社区并不一定或者并不总是经过了安全设计方面的培训，我们如何让开源变得更安全，这是一个基本的问题。”
如今被广泛使用的开源工具（例如流行的Java日志框架Log4J）中发现的一些漏洞，加剧了政府对开源开发人员的兴趣，然而也可能是开发人员已经成为当前威胁环境中一大主要目标而导致了这个问题的紧迫性。
GitHub安全运营副总裁Alexis Wales表示：“我们可能比这个领域的其他任何人都更了解开发者体验和开发者工作流程。开发商正成为一大目标，我们现在在众多威胁行为者身上看到了这一点。”
针对关键基础设施
在针对开发人员的攻击、对开源漏洞的担忧、以及AI被广泛使用可能引发的一波新威胁之间，安全社区还有很多值得担心的事情，也许人们忽略了影响关键基础设施的一些重大违规行为的未来前景。
殖民地管道勒索软件攻击和试图篡改某地区供水情况，就是两个值得注意的例子。在接受本文采访时，一家致力于保护关键基础设施的网络安全公司的高管表达了他的担忧，世界突然敲响警钟很可能只是一个时间上的问题。
Claroty公司首席执行官Yaniv Vardi表示：“我担心我们在西方世界的关键基础设施没有得到足够好的保护。我认为灾难性事件迟早会发生，重点将是关键基础设施。”
在整个Black Hat大会的演讲以及本文的采访过程中，没有人乐观地认为全球对于生成式AI的迷恋会创造保护系统和网络的“杀手级应用”，也没有人预测威胁行为者将取得胜利并统治世界。
Fastly公司的安全研究员Simran Khalsa在接受采访时表示：“这两股力量将相互推动，我们必须随之不断演进发展。”
