1 月 17 日消息，随着文生文、文生图、文生视频等领域应用成熟，随之而来的信任危机也同步爆发。为此，腾讯今日宣布推出 AI 生成文本检测 / AI 生成图像检测工具。
腾讯官方称，虽然 AI 生成的图像在细节纹理上越来越逼真，但依然有迹可循，朱雀实验室研发了一款 AI 生成图片检测系统，将图片上传 —— 等待验证 —— 判断是否由 AI 生成，整个过程只有几秒钟，就能用魔法打败魔法 —— 用 AI“检测”AI 生成。
究其背后的检测逻辑，主要是捕捉真实图片与 AI 生图之间的差异来进行区分，例如 AI 生图有时不符合常识逻辑、AI 生成图片需要“加水印”、AI 生成图片包含隐层特征。
腾讯指出，鉴别 AI 生成往往不能依靠单一依据。因此，AI 生成图片检测系统需要利用 AI 模型来捕捉真实图片与 AI 生图之间各类特征的差异，包括图片的纹理、语义及隐形特征。
为了提升系统的检测效果，其使用了 140 万份正负样本进行模型训练，考虑了多种生成内容场景，如人体、人像、风景、地标、植物、电影、游戏、新闻等，最终测试检出率达 95% 以上，还在持续优化提升中。
IT之家注意到，朱雀实验室还同步开发了文本检测系统，通过对 AI 生成文本和人类写作内容的海量数据学习来实现文本检测。
与图片内容检测一样，文本检测系统背后也搜集了大量正负样本进行训练，涵盖不同领域、不同大语言模型的生成文本。此外，还运用了对比的方式，将检测文本与大模型预测内容进行重叠度对比，来推断文章的 AI 生成概率，以增强对未见过数据的检测能力。
目前，AI 生成文本检测系统涵盖了新闻通讯、公文、小说、散文等多样化文体，接下来还会对诗歌等体裁进行补强，用于提高文本识别的准确率。
