今年以来，随着ChatGPT和GPT-4等技术的应用，深度合成产品和服务日渐增多。利用AI换脸、AI拟声等虚假音视频进行诈骗的违法行为屡见不鲜，这些新的诈骗手法十分隐蔽和高效，给社会造成很大的安全威胁。
近日，“AI诈骗正在全国爆发”一度冲上微博热搜。6月10日，国家反诈中心辟谣爆发传言不实。但AI诈骗相关话题的热度依然居高不下，甚嚣尘上。
2023年5月，内蒙古包头警方发布一起利用AI实施电信诈骗的典型案例：2023年4月，福建一家科技公司的法人代表郭先生被骗子通过AI换脸和拟声技术，佯装好友对其实施诈骗。在10分钟内，先后分两笔把430万元转到了对方的银行账户上。
无独有偶，2023年5月22日，AI换脸诈骗事件再次发生。安徽一男子9秒被骗132万，诈骗分子使用了一段9秒钟的智能AI换脸视频，佯装“熟人”让受害人放松警惕从而得手。其诈骗速度之快，令人乍舌。
这两则受骗事件套路如出一辙。不法分子利用AI换脸技术，伪装成特定人物，提前制作冒充熟人的视频，并与他人进行视频通话，或使用特定的换脸应用程序，以假乱真，博取被害人信任后实施诈骗行为。
AI换脸的应用边界
新科技的发展应用，可谓是一把双刃剑，AI 换脸技术亦是。给我们的生活带来了便利的同时，但也可能会被用于欺诈和虚假信息传播，对隐私和安全构成威胁，同时导致误解和误导等问题。
AI换脸，即通过AI人工智能技术，把别人的脸换成自己的脸，而且脸部表情自然，效果十分逼真。AI换脸技术主要通过使用深度学习算法和大型模型来实现，其实现原理是通过人脸检测、人脸对齐、特征提取、特征融合和重建等步骤，将不同人的面部特征进行融合，生成具有换脸效果的新图像。
具体来说，首先，大型模型可以自动检测人脸，并在输入图像中定位人脸区域。接着，对输入图像中的人脸进行对齐，使得不同人脸的面部特征点位置相同。这通常需要使用人脸关键点和仿射变换等技术。再者，使用深度学习模型，可以提取人脸的特征，这些特征可以用来指导替换操作。将两张不同人脸的面部特征进行融合，生成新的面部特征。最后，使用重建算法，例如反卷积神经网络（DCNN）或GAN等，将新的面部特征映射回图像空间中，生成一张具有换脸效果的新图像。
总而言之，AI换脸采用的是深度合成技术，通过AI建模实现换脸。利用深度学习、虚拟现实等生成合成类算法，制作图像、音频、视频等信息，目前在社交、影视、广告等诸多领域不断深化应用。
比如，在影视剧中，剧组可以运用AI换脸技术对原演员或危险情节拍摄进行巧妙处理；在教学方面，AI换脸技术能够实现互动性强的虚拟教学。
同时，AI换脸技术也存在着滥用风险。此前，有多个电商直播间被曝使用明星AI换脸直播，博取流量。这些直播并不会直接提到相关明星艺人的名字，但也不会主动声明或者否认，通过社交媒体传播，诱导用户和粉丝点击链接下载恶意软件或输入个人信息，以达到直播卖货或进行诈骗的目的。更有甚者，利用AI换脸软件及技术非法处理和制作虚假的淫秽视频后进行非法售卖，绕过人脸识别系统监管从而实施诈骗、盗窃等犯罪。
可以看出，不法分子使用AI技术分析目标用户的行为特征和个人信息，进行精准定向攻击，窃取个人敏感信息。这类诈骗往往通过非法获取他人个人数据，以及运用各种黑灰软件来替换数据信息来实现，从而达到目的。
AI诈骗“魔高一尺”，防范“道高一丈”
AI换脸诈骗的背后，是隐私信息泄露与诈骗陷阱的结合。针对技术花样翻新的AI诈骗，公众要提高防范意识，加强监管、健全立法是重要手段。趋利避害，需要从个人、政策、技术、安全企业等多个层面和维度共同发力，才能应对未来可能出现的新型诈骗手段。
在个人层面，提高自身使用数字工具的安全意识和安全能力。一是当在涉及到转账交易等行为时要格外留意，可以通过电话、视频等方式再三确认对方是否是本人；二是加强个人信息保护意识，谨慎点击不明链接，不管是在互联网上还是社交软件上，尽量避免过多地暴露自己的信息，以免被骗子精准围猎。
在政策层面，已出台相关文件，但更要加强对AI技术的监管和管理。2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》，明确了深度合成数据和技术管理规范。要求深度合成服务提供者和技术支持者加强训练数据管理和技术管理，保障数据安全，不得非法处理个人信息。其中提到：深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。
今年4月11日，国家网信办公布了《生成式人工智能服务管理办法（征求意见稿）》，其中提到，AI内容必须真实准确，还明确提到，禁止非法获取、披露、利用个人信息和隐私、商业秘密。
对于提供“AI换脸”技术的互联网科技类企业，要加大监管力度。此外，各网络平台对于AI换脸的应用应当担负起责任。目前，推出AI换脸功能的平台以及允许AI换脸相关内容传播的平台，都应该加强审核，以避免AI技术被不法分子利用。
在技术层面，紧盯数据的信息采集、储存、共享、披露等各环节，进行全链条管理。当前AI安全研究仍然落后于AI能力研究，这也是安全技术厂商应持续攻关的方向。加大对AI换脸技术的技术研究和防范措施的开发力度，提高AI换脸技术的安全性和可靠性，研发更加智能化的识别系统用于辨别真伪，减少此类诈骗行为的生存空间。
人脸信息作为敏感个人信息，不正当使用将对社会公众的人身和财产安全带来重大风险。在使用新兴技术时，我们不能忘记法律的规制、道德伦理的约束，这是所有技术发展应有的边界。于此同时，必须时刻保持高度警惕，增强自我安全意识和能力，才能防范网络诈骗。
