在采访中，Reality Defender的首席执行官Ben Colman探讨了在实际应用中检测高质量深度伪造内容(deepfake)所面临的挑战。他讨论了水印技术、基于AI的检测以及新兴技术在确保媒体真实性方面的潜力及其局限性。
Colman还强调了公众教育、针对特定行业的AI实施以及积极的研究合作对于应对快速发展的深度伪造策略的重要性。
鉴于深度伪造生成技术的不断发展，当前在实际应用中的检测方法存在哪些局限性?像水印或基于AI的检测这样的传统技术效果如何，尤其是在面对高质量、基于生成对抗网络(GAN)的深度伪造内容时?
基于水印(来源)的检测和基于AI(推断)的检测在任何/所有用例中都可以并且非常有效地根除深度伪造内容。然而，前者在实施上面临独特的问题，即平台和生成工具的“接纳”。简而言之，如果AI生成模型没有选择加入，因此没有使用来源水印进行签名，那么在这种情况下，使用来源水印就会受到限制。还有一个令人担忧的问题是，如果任何人都能用平台检查水印时所用的水印给内容打上标记，而不论其真实性如何，那么这种水印检查就会失效。
就基于推断的检测而言，真实情况永远未知且被视为如此，因此检测是基于内容被操纵或未被操纵的1%至99%的可能性。基于推断的平台不需要平台的接纳，而是需要在各种用例和情境下(以及作为平衡的各种真实媒体)对广泛的深度伪造技术和方法进行训练的稳健模型。
为了领先于新兴的威胁向量和突破性的新模型，那些制定基于推断的解决方案的人可以关注新兴的GenAI研究，并在此类研究产品化之前或之时将其方法纳入检测模型中。同样，借鉴来源检测的策略，与GenAI和深度伪造平台合作，在公开部署之前获取模型和技术，以便对未来的模型生成数据进行训练，这对于增强稳健性也是至关重要的。
使用区块链、元数据和数字水印来验证媒体的真实性有哪些潜在的优点和局限性?是否有新兴技术或混合方法有望在提高深度伪造检测准确性方面展现出前景?
与检测暴力图像或儿童性虐待材料(CSAM)不同——后者通常需要与已知此类内容的数据库进行比对——深度伪造没有已知的数据库，并且由于深度伪造的广泛性和深度，以及深度伪造技术和模型的多样性，建立此类数据库是徒劳的。也就是说，单一的检测方法效果不如组合的检测方法——这是网络安全中的“瑞士奶酪”策略。基于推断和基于来源的检测方法协同工作可以相互补充，并为每个扫描的媒体文件提供比单独使用时更多的数据。
深度伪造已经被用于散布虚假信息、网络骚扰和其他恶意活动。如何在公共和政府部门实施用于检测深度伪造的AI工具，以保护信息完整性而不侵犯个人自由?
仅从过去一年来看，确保通信安全至关重要——尤其是在金融和政府部门。根据我们的经验，在最关键的入口点，由于深度伪造——尤其是音频和视频——分别在电话环境和网络会议平台上构成的财务和安全风险，许多这些实体已经在实施某种程度的深度伪造检测。
为了在这些领域实现有效检测，用于训练这些检测模型的数据集必须平衡且具有代表性——包括但不限于口音、方言、肤色(跨越Monk肤色量表)、面部不对称性以及一系列有助于使这些数据集真正具有代表性的因素。这不仅是为了构建一个完全稳健的系统，也是为了保护电话另一端那些不是深度伪造的人——防止由于某一组或子集缺乏代表性而导致的误报和漏报。
公众教育作为应对深度伪造威胁的工具效果如何?还可以采取哪些额外措施来帮助用户识别被操纵的媒体?
许多公众已经知道AI的奇妙之处，但较少有人知道其危害。提高公众意识和教育始终至关重要，尤其是在可能接触到深度伪造或人为操纵内容的地方。然而，深度伪造变得越来越令人信服、越来越逼真，以至于现在即使是经验丰富的研究人员也很难仅通过查看或收听媒体文件来区分真假。这就是深度伪造技术的先进程度，并且它们将继续在可信度和逼真度方面不断发展。
因此，在上述内容平台或任何可能存在深度伪造的地方实施深度伪造检测解决方案至关重要。用户不能也不应该被要求依靠自己的感官来判断，例如，一个逼真的音频文件是真是假，尤其是当音频在不到两年的时间里逼真度突飞猛进时。所以，是的，提高意识并将其纳入基本的网络安全/反社会工程学培训是关键，但这并不是全部。
鉴于深度伪造制作者能够快速适应检测方法，您如何设想未来AI的发展，以助于预先识别和减轻新的深度伪造策略?
如前所述，关注研究的发展方向和整个行业的合作对于快速检测新技术和模型至关重要。我们有幸与业内一些最著名的公司建立了合作伙伴关系，正是出于这个目的，因为它们与我们有着共同的使命，即在企业和政府空间中确保通信安全，防范危险的深度伪造。通过合作伙伴关系和协作，在公开推出之前增加对这些方法的访问，已经并将继续阻止新的威胁和不良行为者的出现。
