Eschatia Labs labs

项目 · 计算机视觉 · 开源

xdfdet

可解释的深度伪造检测

Eschatia Labs 开发的 xdfdet 逐帧检查视频,寻找经人工智能改动的人脸。它使用图像识别模型 EfficientNet-B4,并用 Grad-CAM 热力图显示每项判断依据了面部的哪些部位。它的最佳模型在 FaceForensics++ 上 AUC 达到 0.897;0.5 相当于随机猜测,1 相当于完全正确。

0.897FaceForensics++ 上的 AUC
8已发布的训练模型
9比较的训练方法
UBMK 2026已录用

功能

xdfdet 把视频帧分为真实和篡改两类,并用覆盖人脸的 Grad-CAM 热力图解释每项判断。它背后的研究比较了九种训练方法,包括让训练图像更多样的数据增强,以及把图像局部涂黑的随机遮挡。研究测量准确率、置信度与结果的吻合程度,以及每个模型依据的面部部位。

在收录真实和篡改人脸视频的公开数据集 FaceForensics++ 上,用多样化且局部涂黑的图像训练的 EfficientNet-B4 的 AUC 达到 0.897,不用这些图像训练时为 0.868。代码库包含训练与评测代码,以及八个训练好的模型。

材料

Hugging Face 和 Kaggle 上的八个 EfficientNet-B4 模型、训练与评测代码、UBMK 2026 论文,以及这项工作所源自的硕士论文。