根据《福布斯》获得的一份法庭文件披露的信息,一个欺诈团伙利用音频深度伪造技术克隆了一家企业董事的声音,将3500万美元的资金转移到几个海外账户。这是迄今为止最成功的“deep voice” 欺诈案,尽管这可能只是这样的案例日益增长趋势的一部分。
深度伪造(Deepfake)技术可以训练人工智能系统来模仿某人的面孔,通常是演员或其他知名人士的面孔。然后,人工智能技术可以制作动画并将其面孔粘贴到视频中,从而将克隆的对象插入到场景中。
但是不能只是他们的影像放在视频中,还要伪造他们的声音。这就是音频深度伪造发挥作用的地方,可以训练人工智能技术来模仿某人的声音,然后以其声音说出内容。
专家认为,一旦深度造假技术达到一定的水平,将推动一个充满错误信息、骚扰和蹩脚电影的新时代。
在2020年,阿联酋的一名银行经理接到了一家大公司董事的电话。该董事声称其所在的公司正在进行一项大型收购,所以要求这家银行授权向美国的几个账户转账3500万美元。他表示已经发送一封来自律师的电子邮件来确认这笔转账,由于一切看起来都是合法的,银行经理确认了这笔转账。
但这家公司的“董事”实际上是一个经过训练的“deep voice”算法,听起来就像他的声音。阿联酋有关部门目前正在寻求美国警方的帮助,以追回丢失的这些资金。据悉,这些资金被17名或更多的欺诈者转移到他们在全球各地的账户上。
这并不是Deepfake实施的第一次欺诈和抢劫,但却是迄今为止最成功的一次。类似的事件显然将来还会发生,而且规模可能会大得多。那么企业和政府能做些什么来减轻威胁呢?很难说。
因为Deepfakes技术仍在不断改进,最终会变得更强大,以至于人类无法正确识别。但经过训练的人工智能可能识别出深度伪造的行为,因为克隆受害者的面孔和声音往往包含一些错误,例如数字噪音或人类不可能发出的一些声音。