网络洞察2025:社会工程学获得人工智能的翅膀

人工智能
任何认为防御者可以通过在防御中使用自己的人工智能来领先于使用人工智能的攻击者的想法都是愚蠢的。在人工智能出现之前我们无法做到这一点,在人工智能出现之后我们也不会做到这一点。我们自己对人工智能的使用最多只能与当前犯罪分子对人工智能的使用相匹配。

社会工程学是大部分网络犯罪活动的基础。我们尚未找到解决方案,因为社会工程学已经根植于每个人的心灵中。

社会工程学的持久性

互联网带来了公民记者,人工智能带来了公民社会工程师。任何人都可以成为社会工程师——事实上,每个人都是社会工程师。问题是,无论个人技能水平如何,人工智能都为社会工程师提供了翅膀。一直以来都是坏事,必然会变得更糟。

Praxis Security Labs首席执行官兼创始人 Kai Roer 解释道:“社会工程学是人类的一种特性,是群居物种的特征。它不是新事物,也不会消失。它也不是你可以修补的东西,你也无法‘修复问题’——因为它不是问题。”

Praxis Security Labs 首席执行官兼创始人 Kai RoerPraxis Security Labs 首席执行官兼创始人 Kai Roer

他继续说,这是人性的一部分。“社交工程是一项关键技能,它可以帮助个人和团体建立和加强关系,沟通和表达意图。它是一条双向的街道,信号被发送和接收,以便信号可以被解读和采取行动。” 

你可以在任何地方测试这一点。每次你去超市,你都会受到社交工程的诱惑,被吸引到商店更深处,购买更多产品。你在广告牌和电视上看到的每一个广告都是社交工程的练习;当你遇到某人时,你会运用自己微妙的社交工程来改善关系——这是日常生活的重要组成部分。

“这种技能深深植根于人类天性,研究人员已经发现,婴儿在学会说话之前就能够识别人类群体中的权力结构,”罗尔补充道。

但是,当安全人员谈论社会工程学时,他们谈论的是犯罪分子利用自然的人际交往,加上谎言、虚假、虚假承诺等,从毫无戒心的受害者那里获取非法利益。 

“由于这些谎言,再加上大多数人的本能反应,犯罪分子得以成功实现他们的目标,”罗尔总结道。“这不是员工的错——正如我们行业中的一些言论所声称的那样——而是罪犯的错。问问自己:强奸是谁的错?强奸犯还是被强奸者?大多数人都会同意,应该受到指责的是攻击者,而不是受害者。”

预防恶意网络社交工程的根本问题是,我们只能治疗受害者,而不能治疗侵略者。通过“意识培训”等解决方案“治疗”受害者,我们实际上是在试图让受害者否认他们人性的一个基本方面,而对侵略者却没有任何影响。

结果是恶意的社会工程行为持续存在,并且将继续存在(并且会恶化),因为工程和被工程是人类的天性。这就是我们成为社会动物的原因。

2025 年人工智能将助长恶意社交工程

Doppel首席执行官兼联合创始人 Kevin Tian 简明扼要地总结了 2025 年的社会工程威胁。“2025 年,社会工程将巩固其作为头号安全威胁的地位——由生成式人工智能增强。犯罪分子将不再仅仅依赖网络钓鱼电子邮件。他们将通过短信、深度伪造语音电话甚至社交媒体角色发起动态、实时的活动,并随时调整。它是多渠道、多模式的,危险程度达到了一个全新的水平。”

Illumio 系统工程总监 Michael AdjeiIllumio 系统工程总监 Michael Adjei

人工智能将把社会工程学推向新的高度。“到 2025 年,普通用户实际上将成为不知情的大规模攻击参与者,”Illumio 系统工程总监 Michael Adjei 警告说。“社会工程师将利用流行的应用程序、社交媒体功能甚至人工智能工具来欺骗人们无意中利用基于网络或基于脚本的漏洞。”

他并不是唯一一个预见到这些人工智能辅助社会工程攻击新水平的人。Sonatype 的首席技术官 Brian Fox警告说,尽管我们在 2024 年躲过了XZ Utils 的攻击,但 2025 年可能会是灾难性的。 

“ XZ Utils 攻击企图于 2024 年被发现,但这是一场提前数年发起的复杂社会工程活动,”他说。“虽然这一令人震惊的发现标志着新趋势的开始,但我知道类似的活动已经在进行中。XZ Utils并不是一个孤立事件,虽然更复杂的活动可能需要一些时间才能被发现,但不太复杂的模仿者将会盛行。”

与此同时,自从 ChatGPT 出现以及随后大量 gen-AI 模型的出现以来,我们一直在期待并等待网络犯罪分子使用 AI 来改进和扩大其现有攻击。起初,人们的预期是电子邮件网络钓鱼会更加复杂、规模更大。这并没有立即发生,但到 2024 年一直在稳步增长。

但随着多模态人工智能的出现,威胁现在包括语音和视频支持的深度伪造网络钓鱼的额外潜力。由已知声音和面孔支持的网络钓鱼论点远比简单的文本更有说服力。人工智能将在 2025 年通过更直接地利用我们对人际社会工程的自然接受和参与来推动恶意社会工程。

SafeBreach 的首席信息安全官 Avishai Avivi 表示,人工智能增强型社会工程学的进步目前带来的总体效果是将攻击者置于“恐怖谷”的最佳位置;在这个位置上,人们很容易相信,但过于完美又会重新建立不信任。

“我们预计恶意行为者将在现有能力的基础上,增加利用人工智能技术进行社会工程攻击的数量和复杂性,以影响企业电子邮件入侵 (BEC) 和账户接管。具体来说,”他继续说道,“我们预计恶意行为者将利用语音、短信和定向视频等较新的替代渠道来攻击其指定目标。这些人工智能辅助攻击还可以获取大量有关其目标的公开数据,并以前所未有的方式对其进行合成。”

社交工程的大多数属性已经使用多年——包括深度伪造——但在人工智能出现之前,深度伪造的努力回报相对较低(一对一,而不是电子邮件文本网络钓鱼活动中的一对数千)。正是这种努力回报被人工智能颠覆了。Concordium 首席执行官 Boris Bohrer-Bilowitzki 警告说:“深度伪造的使用是一个令人担忧的趋势,到 2025 年可能会呈指数级增长。” “深度伪造将变得更加复杂,成为网络犯罪分子的主要攻击媒介之一……使威胁行为者更容易欺骗人们,并对现代社会造成巨大的影响和成本。”

Barrier Networks高级 SOC 分析师 David Neeson同意这一评估。“借助人工智能和深度伪造技术,威胁行为者可能很快就会开始伪造个人身份并与潜在雇主进行视频面试。这些攻击很难被发现,并可能导致间谍活动急剧增加,组织可能会因被人工智能和深度伪造技术欺骗而意外雇用国家支持的行为者。”

Barrier Networks 高级 SOC 分析师 David NeesonBarrier Networks 高级 SOC 分析师 David Neeson

雇佣外国特工进行外国优先行动已经成为一个问题。2025 年,利用人工智能辅助社会工程学埋设外国特工进行间谍活动或破坏活动可能会增加。这种努力的回报不会像典型的人工智能辅助犯罪批量网络钓鱼活动那么大,但肯定会对民族国家对手具有吸引力(现在有更多时间可用,因为基于选举的虚假信息努力不那么重要)。

然而,人工智能的普及意味着其用途将不仅限于 APT。它能够提高批量网络钓鱼活动的复杂性和规模,这意味着以前不懂技术的犯罪分子将猖獗。与此同时,新出现的复杂高价值鱼叉式网络钓鱼也可能会增多。 

在暗网上,“专门从事这一领域的恶意行为者已经形成了一个蓬勃发展的‘市场’。令人信服且有效的音频或视频‘假货’可以以低成本生成……甚至通过某些服务免费提供,”SentinelLabs 高级威胁研究员 Jim Walter指出。

这是地下犯罪专业化程度不断提高的一部分——在这种情况下,他们提供深度伪造制作作为恶意软件即服务 (MaaS) 运营的一部分。有关地下犯罪服务的更多信息, 请参阅犯罪团伙。

OPSWAT 培训和认证服务副总裁 Irfan Shakeel 警告称:“这项技术将冒充关键人物,例如首席执行官、政府官员,甚至是亲人,让人几乎无法区分真实和虚假的通信。其影响深远,从金融欺诈(骗子使用虚假视频通话索要资金或敏感信息)到对数字互动的信任普遍丧失。”

CyberArk美国联邦技术办公室高级主管 James Imanian进一步表示:“这种方法还将渗透到其他领域——下一代资金转移攻击、知识产权盗窃和间谍活动将针对忙碌的高管和高级员工。企业和个人已经被犯罪分子欺骗,他们花费数月时间进行被称为“杀猪”的社会工程骗局。准备好迎接个性化、自动化的人工智能代理攻击风暴吧。”

简而言之,人工智能的出现将改变社会工程学(迄今为止被广泛认为只是网络钓鱼的一种手段)为各种攻击的基础要素,这些攻击比我们以前见过的攻击更复杂、更引人注目、伪装性更强、规模更大。

针对人工智能社会工程学的可能人工智能防御

去年诞生了一个新行业:用人工智能防御来对抗人工智能攻击。当然,这个行业正在积极宣传自己是对抗人工智能辅助攻击的最佳方式;但这些说法并没有简单的证据。技术可以而且正在被用来检测深度伪造的声音(相对容易)和深度伪造的视频(更难,而且正在不断改进);但没有技术能够改变人性。我们希望相信我们所听到的和看到的东西——如果背景合理,我们很可能会相信它。

Votiro 产品主管 Eric Avigdor 建议,AI 防御应更多地关注如何防止成功攻击造成的不良后果,而不是检测 AI 社会工程攻击。“更好的选择是假设个人会收到许多此类消息,并帮助防止该人犯下分享敏感信息的错误,”他说。“例如,通过检测某人在看似不合适的情况和环境下分享其凭证或敏感数据,然后阻止或警告该人可能存在欺诈行为。”

Roer 也有类似的担忧。“到 2025 年,我们将看到更多证据表明,网络钓鱼评估和安全意识培训计划并不是缓解社会工程攻击的正确方法。”他担心的是,这样的做法并不能有效改变用户行为以减轻风险。同时,意识培训通常是法规所要求的。

“我预计,越来越多的组织将认识到安全意识培训和网络钓鱼评估只是一项合规活动,”他继续说道。“因此,它们是必要之恶,但不会改变行为。组织可能会将培训和评估的数量降至最低,勾选该复选框,并释放预算和资源来实施安全措施,这些措施实际上会改变员工的行为,而不会引起怨恨和负面结果。”

他没有具体说明哪些安全措施可以在意识培训无法改变行为的情况下改变行为——但他的公司涉足了新兴的人类风险管理领域。他并不是唯一一个提倡这种对抗社会工程学方法的人。田纳西大学健康科学中心首席网络安全分析师 Chris Madeksho于 2024 年 9 月为 Educause撰写了关于这一概念的文章——Hoxhunt 联合创始人兼首席执行官 Mika Aalto也是这一概念的追随者。

Hoxhunt 联合创始人兼首席执行官 Mika AaltoHoxhunt 联合创始人兼首席执行官 Mika Aalto

“今年,随着多位分析师将人力风险管理视为一个独立的类别,老式的安全意识培训模式正式被打破,”他解释道。“这些人力资源管理平台由人工智能驱动,旨在改变行为并通过自动威胁数据编排来增强 SOC。”

心理语言分析科学是应对社会工程威胁的另一种方法。这一理念对安全领域来说并不完全是新事物,但迄今为止主要侧重于分析员工的心理状态。该理论认为,员工的异议将通过监控内部(甚至是社交媒体,但这有点令人毛骨悚然)通信表现出来。人们相信,在员工成为恶意内部人员之前,可以发现并解决“不满情绪”。

社会工程学的问题是,恶意意图是否能在一次通信中被检测到,而不是在一系列通信中被发现。Proofpoint 的网络安全策略师 Matt Cooke认为这有一定的潜力。“心理语言学可以发挥关键作用,尤其是与先进的机器学习 (ML) 技术相结合时,”他说。 

“基于转换器的模型(例如 BERT 和 GPT)等工具擅长理解单词之间的复杂关系,它们已经被用来分析电子邮件内容,以发现网络钓鱼等威胁。然而,需要注意的是,仅从内容检测威胁并非万无一失。发件人身份验证(例如 DMARC)和行为模式等情境因素也能增强检测能力。”

Iris Powered by Generali 首席执行官 Paige SchafferIris Powered by Generali 首席执行官 Paige Schaffer

简而言之,心理语言学加上额外的背景信息可以帮助检测恶意内容。阿尔托对此表示同意。“这些技术可以分析消息中的语言和情感线索,以识别欺骗或操纵的迹象。例如,它们可以检测到钓鱼和诈骗通信中常见的不寻常的紧迫感、恐惧诉求或不一致之处。已经存在可以检测深度伪造中的异常元数据以区分这些消息的工具。”

但他也同意,额外的帮助对这一过程大有裨益。“虽然人工智能驱动的内容分析将在检测中发挥关键作用,但当它与用户教育、行为分析和强大的身份验证协议等其他安全措施相结合时,效果将最显著。”

但要永远记住,对鹅有利的,对鹅不利的。Iris Powered by Generali 首席执行官 Paige Schaffer 表示,犯罪分子可以利用人工智能来抓取数字世界,以创建高度个性化且可信的信息。她警告说:“随着犯罪分子更好地了解我们的决策过程并利用偏见和其他心理因素,我们还可能看到更有效的社会工程攻击。”

“同样,通过分析大型数据集,人工智能系统可以帮助犯罪分子识别心理弱点,甚至是更容易受到社会工程攻击的某些个人。”

社会工程学的未来

ThreatLocker 首席执行官兼联合创始人ThreatLocker 首席执行官兼联合创始人

任何认为防御者可以通过在防御中使用自己的人工智能来领先于使用人工智能的攻击者的想法都是愚蠢的。在人工智能出现之前我们无法做到这一点,在人工智能出现之后我们也不会做到这一点。我们自己对人工智能的使用最多只能与当前犯罪分子对人工智能的使用相匹配。当这种情况发生时,犯罪分子和民族国家将修正他们的行为,我们将再次开始追赶过程。 

ThreatLocker首席执行官兼联合创始人 Danny Jenkins指出了古德哈特定律:“当一项措施成为目标时,它就不再是一项好措施。”他表示,应用到此处,“这意味着一旦某些标记被确定为坏标记,恶意行为者就可以改变他们的技术以避免使用它们,从而避免被检测到。是的,它可能会提高检测率,但不会解决问题,就像恶意软件检测无法检测到所有恶意软件一样。”

这意味着,每当我们成功应对新的攻击方法时,攻击者就会修改他们的方法——而我们需要修改我们的防御策略。我们使用人工智能进行防御很重要,但不会改变游戏规则:人工智能将为社会工程学插上翅膀。我们永远无法赢得安全之战;所以,我们需要在不安全中生存下来。业务弹性必须是我们采用的所有安全控制和流程的最终目的,因为我们永远无法彻底击败或保护自己免受社会工程学的侵害。

责任编辑:武晓燕 来源: 河南等级保护测评
相关推荐

2010-09-03 11:02:14

2010-09-03 14:25:01

2017-06-23 17:12:27

2023-02-26 00:31:41

2019-12-24 08:29:56

社会工程学网络攻击漏洞

2015-09-28 17:20:25

2010-08-30 13:38:47

社会工程学

2013-01-05 14:19:25

2020-10-14 10:05:36

Hacker社会工程学网络安全

2013-12-12 10:28:04

2011-02-13 09:03:20

2024-03-28 14:34:09

2009-12-15 10:58:54

2015-05-07 09:16:46

2023-09-21 00:07:12

2013-03-27 13:50:32

2024-04-19 10:06:58

2020-01-02 14:57:32

人工智能社会工程网络安全

2020-12-01 15:52:36

人脸识别人工智能AI

2014-12-02 09:34:54

点赞
收藏

51CTO技术栈公众号