Progetto · visione artificiale · open source
xdfdet
Rilevamento spiegabile dei deepfake
Eschatia Labs ha sviluppato xdfdet per controllare ogni fotogramma di un video alla ricerca di volti alterati dall’IA. Usa EfficientNet-B4, un modello per il riconoscimento delle immagini, e mappe di calore Grad-CAM che mostrano su quali parti del volto si è basata ogni decisione. Il suo modello migliore raggiunge un AUC di 0,897 su FaceForensics++, dove 0,5 equivale a tirare a indovinare e 1 è il risultato perfetto.
Che cosa fa
xdfdet separa i fotogrammi video in reali e alterati e spiega ogni decisione con una mappa di calore Grad-CAM sul volto. Lo studio alla base confronta nove metodi di addestramento, tra cui l’augmentation, che varia le immagini di addestramento, e il cutout, che ne oscura alcune parti. Misura l’accuratezza, quanto la confidenza corrisponde ai risultati e su quali parti del volto si basa ogni modello.
Su FaceForensics++, una raccolta pubblica di video con volti reali e alterati, EfficientNet-B4 raggiunge un AUC di 0,897 con immagini di addestramento variate e in parte oscurate, contro 0,868 senza di esse. Il repository contiene il codice di addestramento e valutazione e otto modelli addestrati.
Materiali
Otto modelli EfficientNet-B4 su Hugging Face e Kaggle, il codice di addestramento e valutazione, l’articolo UBMK 2026 e la tesi magistrale da cui è nato.