Proyecto · visión artificial · código abierto
xdfdet
Detección explicable de deepfakes
Eschatia Labs desarrolló xdfdet para comprobar cada fotograma de un vídeo en busca de rostros alterados por IA. Usa EfficientNet-B4, un modelo de reconocimiento de imágenes, y mapas de calor Grad-CAM que muestran en qué partes del rostro se basó cada decisión. Su mejor modelo alcanza 0,897 de AUC en FaceForensics++, donde 0,5 equivale a adivinar y 1 es perfecto.
Qué hace
xdfdet separa los fotogramas de vídeo en reales y alterados y explica cada decisión con un mapa de calor Grad-CAM sobre el rostro. El estudio en el que se basa compara nueve métodos de entrenamiento, incluidos el aumento de datos, que varía las imágenes de entrenamiento, y el cutout, que cubre de negro partes de ellas. Mide la exactitud, el grado en que la confianza coincide con los resultados y en qué partes del rostro se basa cada modelo.
En FaceForensics++, una colección pública de vídeos con rostros reales y alterados, EfficientNet-B4 alcanza 0,897 de AUC con imágenes de entrenamiento variadas y parcialmente cubiertas de negro, frente a 0,868 sin ellas. El repositorio contiene el código de entrenamiento y evaluación y ocho modelos entrenados.
Materiales
Ocho modelos EfficientNet-B4 en Hugging Face y Kaggle, el código de entrenamiento y evaluación, el artículo de UBMK 2026 y la tesis de máster de la que surgió.