Eschatia Labs labs
Zurück zur Forschung

Augmentation and Cutout in Deepfake Detection: A Comparative Study of Accuracy, Calibration, and Attention

Die Studie vergleicht neun Verfahren, EfficientNet-B4, ein Modell zur Bilderkennung, für die Erkennung KI-veränderter Gesichter in FaceForensics++ zu trainieren. FaceForensics++ ist eine öffentliche Sammlung echter und manipulierter Gesichtsvideos. Sie bewertet jede Konfiguration mit AUC, F1, Brier-Score und logarithmischem Verlust; die vier Maße bevorzugen unterschiedliche Konfigurationen. Der AUC-Wert beschreibt die Trennleistung von 0,5 für Zufall bis 1 für eine perfekte Trennung. Der Brier-Score misst den Wahrscheinlichkeitsfehler. Grad-CAM-Heatmaps zeigen, welche Gesichtsregionen die jeweilige Vorhersage beeinflusst haben. Bei FaceForensics++, einer öffentlichen Sammlung echter und veränderter Gesichtsvideos, erreicht das Bildmodell EfficientNet-B4 einen AUC-Wert von 0,897, wenn es mit variierten und teilweise geschwärzten Bildern trainiert wird. Ohne diese Bilder erreicht EfficientNet-B4 0,868.

Die Arbeit wurde auf der UBMK 2026 in Istanbul vorgestellt und in IEEE Xplore veröffentlicht.

Publikationsort
UBMK 2026, 11th International Conference on Computer Science and Engineering, Istanbul (IEEE)

Deepfake-Detektoren werden meist nach einem festen Verfahren trainiert; Erklärungen kommen, sofern vorhanden, erst danach. Wir untersuchten, ob zwei frühe Entscheidungen in diesem Verfahren, Datenaugmentation und Cutout, beeinflussen, wie genau ein Detektor ist, wie verlässlich seine Konfidenzwerte sind und auf welche Bildbereiche er sich stützt. Bei Cutout werden Bereiche der Trainingsgesichter maskiert.

Wir entwickelten einen Detektor auf Basis eines EfficientNet-B4-Netzes, trainierten neun Konfigurationen mit gepaarten echten und manipulierten Videos aus FaceForensics++ und bewerteten jede anhand von vier Kennzahlen. Der AUC-Wert gibt an, wie gut ein Modell Fälschungen über alle Schwellenwerte hinweg höher einordnet als echte Videos. Der F1-Wert wägt beim gewählten Schwellenwert erkannte Fälschungen gegen Fehlalarme ab. Brier-Score und Log Loss messen die Kalibrierung, also wie gut eine angegebene Konfidenz damit übereinstimmt, wie häufig das Modell richtig liegt. Grad-CAM hebt die Bildbereiche hervor, auf die sich ein Netz gestützt hat. Die Zuordnung zu 68 Gesichtslandmarken zeigte anschließend, welche Regionen die einzelnen Entscheidungen bestimmten.

Augmentation in Verbindung mit einem schwarz ausgefüllten Cutout erzielte insgesamt die beste Erkennungsleistung. Die vier Kennzahlen ergaben jedoch keinen eindeutigen Sieger, und die Regionskarten zeigten, dass sich das stärkste Modell bei richtigen wie falschen Entscheidungen vor allem auf die Nase stützte. Die Vorverarbeitung bestimmt, wie gut ein Detektor Videos einordnet und wie verlässlich seine Urteile sind.

  • Augmentation in Verbindung mit einem schwarz ausgefüllten Cutout erzielte insgesamt die beste Erkennungsleistung: einen AUC-Wert von 0,8971, einen F1-Wert von 0,8429 und mit 0,1242 den besten Brier-Score.
  • Die vier Kennzahlen widersprachen einander: Die zufällig ausgefüllte Kombination erreichte mit 0,4656 gegenüber 0,4710 den niedrigsten Log Loss. Ranking und Kalibrierung führten damit zu unterschiedlichen Siegern.
  • Grad-CAM zeigte, dass sich das stärkste Modell vor allem auf die Nase stützte: Bei übersehenen Fälschungen stieg die Aktivierung an der Nase von 49 % in der Baseline auf 78 %.

Zitation

Zitation Zitation kopieren (BibTeX)
@inproceedings{kaya2026augmentation,
  author    = {Kaya, Mert and Adanova, Venera},
  title     = {Augmentation and Cutout in Deepfake Detection: A Comparative Study of Accuracy, Calibration, and Attention},
  booktitle = {2026 11th International Conference on Computer Science and Engineering (UBMK)},
  pages     = {78--83},
  year      = {2026},
  publisher = {IEEE},
  doi       = {10.1109/UBMK71847.2026.11745298},
  url       = {https://ieeexplore.ieee.org/document/11745298}
}