随着社会进入人工智能时代，机器几乎渗透到生活的方方面面，而攻击者能够在多大程度上滥用人工智能的可能性仍不为人知。
为了更好地理解攻击者如何利用生成人工智能，IBM X-Force团队进行了一个研究项目，揭示了一个关键问题：当前的生成式人工智能模型是否具备与人类思维相同的欺骗能力？
想象一下这个场景：人工智能在一场网络钓鱼战中与人类较量。研究人员的目标是确定在针对组织的网络钓鱼模拟中，哪个竞争者可以获得更高的点击率？
事实证明，只需要五个简单的提示，研究人员就能够欺骗一个生成式人工智能模型，在短短五分钟内开发出高度令人信服的网络钓鱼邮件。而研究团队通常需要大约16个小时来构建一个网络钓鱼邮件，这还没有考虑到基础设施的设置，因此，攻击者可以通过使用生成式人工智能模型节省近两天的工作。
人工智能生成的网络钓鱼非常令人信服，几乎击败了经验丰富的社会工程师制作的网络钓鱼，甚至可以说是处于同等水平，这是一个重要的进步。
接下来，我们将详细介绍如何创建AI提示，如何进行测试，以及这对当今和未来的社会工程攻击意味着什么。
第一轮：机器的崛起
一方面，研究人员用人工智能工具生成了一份网络钓鱼邮件，它带有非常狡猾和令人信服的叙述。
创建提示
通过一个系统的实验和改进过程，研究人员设计了一个只有五个提示的集合来指导ChatGPT生成针对特定行业部门的网络钓鱼邮件。
首先，研究人员要求ChatGPT详细说明这些行业中员工关心的主要领域。在优先考虑行业和员工的关注点后，研究人员促使ChatGPT在电子邮件中使用社会工程和营销技术做出战略选择。这些选择旨在优化更多员工点击电子邮件本身链接的可能性。接下来，提示询问ChatGPT发送者应该是谁（例如，公司内部人员、供应商、外部组织等）。最后，研究人员要求ChatGPT添加以下功能来创建钓鱼邮件：
1.医疗保健行业员工最关心的领域：职业发展、工作稳定、成就感等等；
2.应该使用的社会工程技术：信任，权威，社会证明；
3.应该使用的营销技巧：个性化，移动优化，号召行动；
4.个人或公司：内部人力资源经理；
5.电子邮件生成：考虑到上面列出的所有信息，ChatGPT生成了以下编辑过的电子邮件，后来由IBM X-Force团队发送给了800多名员工。
AI VS骗术大PK：揭开网络钓鱼策略新时代
一位有近十年社会工程经验，且制作过数百封网络钓鱼邮件的专家表示，人工智能生成的网络钓鱼邮件相当有说服力。事实上，最初有三个组织同意参与这个研究项目，其中两个组织在审查了这两封网络钓鱼邮件后完全退出了，因为邮件承诺的内容与他们预期不符。正如提示所示，参与本研究的组织位于医疗保健行业，这是目前最具针对性的行业之一。
提高攻击者的生产力
研究团队大约需要16个小时来制作一封网络钓鱼邮件，但人工智能网络钓鱼邮件只需要5分钟就能生成，且只有5个简单的提示。
第二轮：人性化
另一方面，X-Force派出了经验丰富的红队社会工程师。凭借创造力和一点点心理学，这些社会工程师创造了网络钓鱼电子邮件，在个人层面上与他们的目标产生了共鸣，人为因素增加了一种通常难以复制的真实性。
第一步：OSINT
社会工程师的网络钓鱼方法总是从获取开源智能（OSINT）的初始阶段开始。OSINT是对可公开获取的信息的检索，这些信息随后经过严格的分析，并作为制定社会工程运动的基础资源。值得注意的是，X-Force的OSINT数据存储库包括LinkedIn、该组织的官方博客、Glassdoor等平台，以及大量其他来源。
在OSINT活动中，X-Force社会工程师们详细介绍了最近启动的一项员工健康计划，令人鼓舞的是，这个项目在Glassdoor上得到了员工的好评，证明了它的有效性和员工满意度。此外，我们确定了一个人负责通过LinkedIn管理这个项目。
第二步：电子邮件制作
利用OSINT阶段收集的数据，X-Force社会工程师开始了精心构建网络钓鱼电子邮件的过程。为了增强真实性和熟悉感，社会工程师还加入了一个合法的网站链接到一个最近结束的项目。
为了增加说服力，社会工程师通过引入“人为的时间限制”，战略性地整合了感知紧迫性的元素。他们向收件人表示，有关调查只包括“五个简短的问题”，并保证完成调查只需要占用其“几分钟”时间，最后期限为“本周五”。这种深思熟虑的框架强调了对收件人时间的最小占用，加强了网络钓鱼方法的非侵入性。
使用调查作为网络钓鱼的借口通常是有风险的，因为它通常被视为一个危险信号或被简单地忽略。然而，考虑到前期收集的数据，社会工程们认为潜在的好处可能超过相关的风险。
以下经过编辑的网络钓鱼邮件被发送给一家全球医疗保健组织的800多名员工：
AI VS骗术大PK：揭开网络钓鱼策略新时代
冠军：人类胜利了，但优势微弱！
经过一轮激烈的A/B测试后，结果很明显：人类取得了胜利，但优势非常微弱。
AI VS骗术大PK：揭开网络钓鱼策略新时代
虽然人工制作的网络钓鱼邮件成功地胜过了人工智能，但这是一场势均力敌的比赛。原因如下：
情商：人类理解情感的方式是人工智能可望不可即的。人类可以编织一些牵动心弦、听起来更真实的故事，让接收者更有可能点击恶意链接。例如，人类在组织内选择了一个合法的例子，而人工智能选择了一个广泛的主题，使人类生成的网络钓鱼邮件看起来更可信。
个性化：除了在电子邮件的介绍中加入收件人的名字外，人类工程师还提供了一个合法组织的参考，为他们的员工提供了切实的优势。
短小精悍的主题行：人类生成的网络钓鱼邮件主题行短小精悍（员工健康调查），而人工智能生成的网络钓鱼邮件主题行极其冗长（解锁你的未来：X公司的晋升之路），甚至在员工打开电子邮件之前就可能引起怀疑。
此外，人工智能生成的网络钓鱼不仅输给了人类，而且被报告为可疑的比率也更高。
AI VS骗术大PK：揭开网络钓鱼策略新时代
结论：窥见未来
虽然X-Force并没有在当前的活动中大规模使用生成式人工智能，但在各种广告钓鱼功能的论坛上，可以看到像WormGPT这样的工具正在销售，这些工具是为不受限制或半受限制的LLM而构建的，这表明攻击者正在测试人工智能在网络钓鱼活动中的使用。
虽然，即使是受限制版本的生成式人工智能模型也可以通过简单的提示来制作网络钓鱼邮件，但这些不受限制的版本可能会为攻击者提供更有效的方法来扩展复杂的网络钓鱼电子邮件。
人类可能以微弱优势赢得了这场比赛，但人工智能正在不断进步，正如我们所知，攻击者在不断地适应和创新。就在今年，我们已经看到越来越多的骗子使用人工智能生成的语音克隆来欺骗人们寄钱、送礼品卡或泄露敏感信息。
虽然在情绪操纵和制作有说服力的电子邮件方面，人类可能仍然占上风，但人工智能在网络钓鱼中的出现标志着社会工程攻击的关键时刻。
以下是对企业和消费者做好准备的五条关键建议：
1. 当你有疑问的时候，打电话给发件人：如果你怀疑一封邮件是否合法，拿起电话核实一下。考虑与亲密的朋友和家人设置安全暗号，以便在钓鱼或人工智能生成的电话骗局的情况下使用。
2. 摒弃语法刻板印象：不要以为网络钓鱼邮件充斥着错误的语法和拼写错误。人工智能驱动的网络钓鱼尝试越来越复杂，语法也是正确的。这就是为什么要对我们的员工进行再教育，并强调语法错误不再是主要的危险信号。相反地，我们应该训练他们对电子邮件内容的长度和复杂性保持警惕。较长的电子邮件通常是人工智能生成文本的标志，这可能是一个警告信号。
3. 改进社会工程项目：这包括将钓鱼等技术引入培训项目，这种技术执行起来很简单，而且通常非常有效。X-Force的一份报告发现，添加电话的针对性网络钓鱼活动的效果是没有添加电话的网络钓鱼活动的3倍。
4. 加强身份和访问管理控制：高级身份访问管理系统可以帮助验证谁在访问什么数据，他们是否有适当的权限，以及他们是否就是他们所说的那个人。
5. 不断适应和创新：人工智能的快速发展意味着网络犯罪分子将继续完善他们的战术，我们必须保持这种不断适应和创新的心态。定期更新内部TTPS、威胁检测系统和员工培训材料对于领先恶意行为者一步至关重要。
结语
人工智能在网络钓鱼攻击中的出现，促使我们重新评估我们的网络安全方法。通过采纳这些建议并在面对不断变化的威胁时保持警惕，我们可以在动态的数字时代加强防御，保护我们的企业，确保我们的数据和人员的安全。
文章翻译自：https://securityintelligence.com/x-force/ai-vs-human-deceit-unravelling-new-age-phishing-tactics/如若转载，请注明原文地址
