生成式人工智能在 2022 年底席卷全球，让人工智能领域在 2023 年成为众人瞩目的焦点。
IBM 表示，尽管人工智能的采用率猛增，到 2023 年，35% 的企业将使用人工智能，42% 的企业将在未来探索人工智能的实施，但新的担忧也出现了。
以下是 2023 年十大人工智能安全新闻报道。
1. ChatGPT 的隐私问题
在 2022 年 11 月推出几个月后，OpenAI 的 ChatGPT 最常见的企业用途之一是起草隐私声明。具有讽刺意味的是，人工智能驱动的聊天机器人本身一直受到数据保护专家的审查。
用于对大语言模型 (LLM) ChatGPT 进行数据训练的网络抓取方法是基于围绕个人数据收集或处理不准确数据提出的许多问题。人工智能和隐私专家讨论，讨论聊天机器人是否符合现有立法，包括 GDPR。还探讨了其制造商 OpenAI 是否采取了足够的预防措施来防止其中一些风险。
2. 用于恶意目的的 GPT 模型
2023 年初出现了将 ChatGPT 用于恶意目的的证据，例如创建多态恶意软件或起草网络钓鱼电子邮件。这导致 OpenAI 和谷歌（推出了 ChatGPT 竞争对手 Bard）实施防护措施以防止此类滥用。然而，这些似乎还不够，因为 SlashNext 2023 年网络钓鱼状况报告在 10 月透露，ChatGPT 的使用使网络钓鱼数量在 2023 年第四季度比 2022 年第四季度激增 1265%。
虽然一些黑帽黑客一直在利用基于 LLM 的合法工具，但其他黑客已经开始制作自己的恶意生成人工智能工具。其中大多数都被赋予了威胁性的名称，例如WormGPT、FraudGPT、 WolfGPT 、 XXXGPT 、 PoisonGPT 或 DarkBard 。
然而，许多专家称，这种趋势可能会消失。
Vectra AI 欧洲、中东和非洲地区首席技术官 Christian Borst 持这种观点。
他说道：“LLM 的广泛使用将会逐渐消失，但 Deepfake 将会猛增。法学硕士通常很难使用，因为它们无法理解背景或提供可靠的输出，因此法学硕士的更广泛实际使用受到限制。”
然而，博斯特认为，企业明年可能会减少对法学硕士的使用，因为他们等待这些工具变得更加实用和用户友好。
“威胁行为者在使用法学硕士时将面临同样的问题，因此我们可能不会看到像人工智能生成恶意代码这样的复杂活动。但我们可以预期网络犯罪分子会利用生成式人工智能来创建更真实、更复杂的深度伪造品。这将使他们更有机会通过更有说服力的音频或视觉网络钓鱼诱饵，诱骗用户放弃敏感数据或点击恶意内容。”
3. 当法学硕士的热潮平息时
11 月份，针对恶意活动的 LLM 采用也受到了挑战，当时 Sophos X-Ops 报告显示，网络犯罪分子迄今为止不愿使用生成式 AI发起攻击。
该公司检查了四个著名的暗网论坛中与法学硕士相关的讨论，发现威胁行为者对使用这些工具几乎没有兴趣，甚至对它们带来的更广泛的风险表示担忧。在研究中的两个论坛中，只发现了 100 个关于人工智能的帖子。相比之下，同期有 1000 个与加密货币相关的帖子。
研究人员透露，大多数与 LLM 相关的帖子都与受感染的 ChatGPT 帐户出售以及规避 LLM 内置保护措施（称为“越狱”）的方法有关。
此外，他们还观察到 10 个 ChatGPT 衍生品，其创建者声称这些衍生品可用于发起网络攻击和开发恶意软件。然而，Sophos X-Ops 表示，网络犯罪分子对这些衍生品反应不一，许多人担心 ChatGPT 模仿者的创建者试图欺骗他们。
研究人员补充说，许多使用法学硕士创建恶意软件或攻击工具的尝试都是“初级的”，并且经常遭到其他用户的怀疑。例如，一名威胁行为者在展示 ChatGPT 的潜力时无意中泄露了有关其真实身份的信息。许多用户对 LLM 生成的代码存在针对网络犯罪的担忧，包括操作安全担忧和 AV/EDR 检测。
4. 检测人工智能生成内容的挑战
只要网络犯罪分子使用人工智能聊天机器人发起恶意活动，即使程度比最初预想的要小，防御者也将很难与之对抗。
根据 10 月份发布的 Egress 网络钓鱼威胁趋势报告，在四分之三 (71.4%) 的情况下，人工智能检测器无法判断网络钓鱼电子邮件是由聊天机器人还是人类编写的。其原因在于人工智能探测器的工作原理。这些工具大多数都基于法学硕士，因此它们的准确性随着样本量的增加而提高，通常需要至少 250 个字符才能工作。
几乎一半 (44.9%) 的网络钓鱼电子邮件不符合 250 个字符的要求，另外 26.5% 的字符数低于 500 个字符，这意味着目前 AI 检测器对于 71.4% 的攻击要么无法可靠工作，要么根本无法工作。
5. 进攻性网络有助于保护生成式人工智能
2023 年，生成式 AI 制造商试图表明他们对安全 AI 工具的承诺。这就是 OpenAI在 4 月份推出漏洞赏金计划的原因，为白帽黑客提供高达 20,000 美元的奖励，以寻找其产品和服务中的安全漏洞。
在 12 月 Black Hat Europe 期间的独家采访中，英国国家网络安全中心 (NCSC) 首席技术官 Ollie Whitehouse 称：“对政府和私营公司围绕人工智能进行的对话感到特别鼓舞”。
他补充说，像 OpenAI 的错误赏金计划这样的举措“表明我们已经打破了发布产品并且只有在产品被闯入后才开始保护它的传统周期。”
6.美国人工智能监管路线图已形成
随着生成式人工智能受到严格审查，政府必须表明他们正在采取措施来保护人工智能系统的安全。起初，拜登政府似乎严重依赖自我监管方法，并在 7 月份获得了亚马逊、Anthropic、谷歌、Inflection、Meta、微软和 OpenAI 等七家生成式人工智能巨头的自愿承诺，以优先考虑安全性并信任他们的人工智能系统。
其中一些公司后来成立了前沿模型论坛，这是一个负责监管人工智能的行业机构。
然而，许多专家批评了自律的功效。美国政府加强了其做法，从 10 月份发布的关于安全、可靠和值得信赖的人工智能的行政命令开始。值得注意的是，EO 提出了建立新的人工智能安全标准的必要性。
为了完成这项任务，拜登政府在11月初的英国人工智能安全峰会上宣布成立美国人工智能安全研究所。新研究所将隶属于美国国家创新技术研究所 (NIST)。
11月中旬，美国网络安全和基础设施安全局（CISA）公布了美国政府完整的人工智能安全路线图。
7. 英国人工智能安全峰会：成就与批评
11月初的英国人工智能安全峰会对于另一个国家英国来说是一个展示实力、展现人工智能领导者身份、同时试图制定人工智能安全标准议程的最佳机会。该活动在开始之前就因其对“前沿”人工智能模型的狭隘关注而受到批评。
尽管讨论仍处于高水平，但英国政府可以吹嘘这次活动达成了一些协议。
此次活动以《布莱切利宣言》拉开序幕，该宣言由 28 个国家签署，概述了针对构成最紧迫和最危险风险的“前沿人工智能”系统采取全球行动的机遇、风险和需求。
会议结束时，多个国家与八家人工智能提供商——亚马逊网络服务（AWS）、Anthropic、谷歌人工智能、谷歌 DeepMind、Inflection、Meta、微软、Mistral AI 和 OpenAI——签署了协议，在发布前测试他们未来的人工智能模型。
此次活动还让英国政府发布了一些公告，包括成立自己的人工智能安全研究所。
8. 欧盟通过了人工智能法案，并对生成式人工智能进行了调整
尽管英国和美国在监管人工智能方面谨慎行事，但欧盟预计将推出西方世界第一部人工智能法。
自 2021 年起就已经在酝酿的欧盟人工智能法案，在 2022 年底大规模采用通用人工智能模型后，不得不进行多次调整。
然而，欧盟最终兑现了承诺，欧洲议会于 2023 年 6 月以压倒性多数通过了最新的立法草案，欧盟机构经过三天的“三方”讨论后于 12 月签署了临时协议。技术细节仍需微调，但《人工智能法案》最快将于 2025 年成为法律。
9. ChatGPT 一年：生成式人工智能对网络安全的影响
除了网络钓鱼之外，ChatGPT 对网络犯罪领域的影响有限。Cato Networks 安全策略高级总监 Etay Maor 强调了网络犯罪分子最初不愿采用大规模生成式人工智能工具的许多因素。
其中之一是由 ChatGPT 等 LLM 工具创建的代码中的实际问题。这包括幻觉——输出实际上不正确或与给定上下文无关，以及一些法学硕士无法正确理解特定语言（例如俄语）的问题。
Outpost24 威胁情报运营经理博尔哈·罗德里格斯 (Borja Rodriguez) 表示，事实上，使用这些技术来创建恶意软件并不是一个好主意，因为人工智能聊天机器人是根据过去的数据和已经存在的代码进行训练的。
罗德里格斯说：“最具传染性的恶意软件是那些以创新理念开发的恶意软件，它们可以感染机器或注入进程。”
SenseOn 创始人兼首席执行官戴维·阿特金森 (David Atkinson) 认为，虽然在他们的雷达范围内，生成式人工智能技术的使用目前不会成为网络犯罪团伙的优先事项。他指出，绕过 MFA 的工具比 ChatGPT 所能生产的任何工具都更有价值。
10. Deepfakes：迫在眉睫的虚假信息威胁
2024 年，全球将举行 40 场全国选举，成为历史上规模最大的选举年。
这对于虚假信息传播者来说可能是一个福音，他们肯定会在操纵活动中使用深度造假工具。
根据 ISACA 的说法，政治家并不是唯一担心人工智能驱动的虚假信息的人。在 2023 年 10 月的生成式人工智能调查中，77% 的数字信任专业人士表示，当今生成式人工智能带来的最大风险是错误信息和虚假信息。
ISACA 全球首席战略官 Chris Dimitriadis 在爱尔兰都柏林举行的该协会数字信任峰会上表示：“图片胜过千言万语，我们没有接受过质疑我们所看到的内容的训练。我们只受过训练来质疑我们所听到或读到的内容，因此这是人类的新出现，质疑我们认为合法或不合法的事物。”
