Projekt · Bildverarbeitung · Open Source
xdfdet
Erklärbare Deepfake-Erkennung
Eschatia Labs hat xdfdet entwickelt, um jedes Einzelbild eines Videos auf KI-veränderte Gesichter zu prüfen. Es nutzt EfficientNet-B4, ein Bilderkennungsmodell, und Grad-CAM-Heatmaps, die zeigen, auf welche Teile des Gesichts sich jede Entscheidung stützt. Das beste Modell erreicht auf FaceForensics++ einen AUC-Wert von 0,897; dabei steht 0,5 für Raten und 1 für perfekt.
Funktionsweise
xdfdet sortiert Videobilder in echt und verändert und erklärt jede Entscheidung mit einer Grad-CAM-Heatmap über dem Gesicht. Die Studie dahinter vergleicht neun Trainingsverfahren, darunter Augmentation, bei der die Trainingsbilder variiert werden, und Cutout, bei dem Teile der Bilder geschwärzt werden. Gemessen werden die Genauigkeit, die Übereinstimmung der Wahrscheinlichkeitseinschätzung mit den Ergebnissen und die Teile des Gesichts, auf die sich jedes Modell stützt.
Auf FaceForensics++, einer öffentlichen Sammlung echter und veränderter Gesichtsvideos, erreicht EfficientNet-B4 mit variierten und teilweise geschwärzten Trainingsbildern einen AUC-Wert von 0,897, gegenüber 0,868 ohne sie. Das Repository enthält den Trainings- und Evaluierungscode sowie acht trainierte Modelle.
Materialien
Acht EfficientNet-B4-Modelle auf Hugging Face und Kaggle, der Trainings- und Evaluierungscode, das Paper zur UBMK 2026 und die Masterarbeit, aus der es hervorgegangen ist.