Proje · bilgisayarlı görü · açık kaynak
xdfdet
Açıklanabilir deepfake tespiti
Eschatia Labs’in geliştirdiği xdfdet, bir videonun her karesinde yapay zekâyla değiştirilmiş yüz arar. Bir görüntü tanıma modeli olan EfficientNet-B4’ü ve her kararın yüzün hangi bölgelerine dayandığını gösteren Grad-CAM ısı haritalarını kullanır. En iyi modeli FaceForensics++ üzerinde 0,897 AUC’ye ulaşır; 0,5 rastgele tahmin, 1 kusursuz ayrım demektir.
Ne yapar?
xdfdet video karelerini gerçek ve değiştirilmiş olarak ayırır ve her kararı yüzün üzerindeki bir Grad-CAM ısı haritasıyla açıklar. Arkasındaki çalışma dokuz eğitim yöntemini karşılaştırır; bunlar arasında eğitim görüntülerini çeşitlendiren veri artırma ve görüntülerin bir kısmını karartan kesme (cutout) de var. Doğruluğu, güven düzeyinin sonuçlarla ne kadar uyuştuğunu ve her modelin yüzün hangi bölgelerine dayandığını ölçer.
Gerçek ve değiştirilmiş yüz videolarından oluşan açık koleksiyon FaceForensics++ üzerinde EfficientNet-B4, çeşitlendirilmiş ve kısmen karartılmış eğitim görüntüleriyle 0,897 AUC’ye ulaşır; bu görüntüler olmadan 0,868. Depo, eğitim ve değerlendirme koduyla sekiz eğitilmiş modeli içerir.
Kaynaklar
Hugging Face ve Kaggle’daki sekiz EfficientNet-B4 modeli, eğitim ve değerlendirme kodu, UBMK 2026 bildirisi ve çalışmanın çıktığı yüksek lisans tezi.