Eschatia Labs labs
Araştırmaya dönün

Augmentation and Cutout in Deepfake Detection: A Comparative Study of Accuracy, Calibration, and Attention

Bu çalışma, bir görüntü tanıma modeli olan EfficientNet-B4'ü, gerçek ve değiştirilmiş yüz videolarından oluşan herkese açık FaceForensics++ koleksiyonunda yapay zekâyla değiştirilmiş yüzleri tespit etmek için eğitmenin dokuz yolunu karşılaştırır. Her yapılandırmayı AUC, F1, Brier puanı ve logaritmik kayıpla değerlendirir; dört ölçüt farklı yapılandırmaları öne çıkarır. AUC, şans düzeyi 0,5 ile kusursuz ayrım düzeyi 1 arasındaki ayırt etme başarısını gösterir. Brier puanı olasılık hatasını ölçer. Grad-CAM ısı haritaları, modelin her tahminde yüzün hangi bölgelerine baktığını gösterir. Gerçek ve değiştirilmiş yüz videolarından oluşan açık FaceForensics++ koleksiyonunda, çeşitlendirilmiş ve kısmen karartılmış görüntülerle eğitilen EfficientNet-B4 adlı görüntü modeli 0,897 AUC’ye ulaşır; aynı model bu görüntüler olmadan eğitildiğinde 0,868’e ulaşır.

İstanbul'daki UBMK 2026'da sunuldu ve IEEE Xplore'da yayımlandı.

Yayın yeri
UBMK 2026, 11th International Conference on Computer Science and Engineering, Istanbul (IEEE)

Deepfake tespit modelleri genellikle sabit bir tarifle eğitilir; açıklamalar, varsa, sonradan gelir. Bu tarifin başındaki iki tercihin, veri çeşitlendirme (augmentation) ile cutout yönteminin (eğitim yüzlerinde bazı bölgeleri karartma), modelin doğruluğunu, güven puanının güvenilirliğini ve nereye baktığını değiştirip değiştirmediğini sorduk.

EfficientNet-B4 ağı etrafında bir tespit modeli kurduk, FaceForensics++ veri setindeki eşleştirilmiş gerçek ve değiştirilmiş videolarla dokuz yapılandırma eğittik ve her birini dört ölçütle puanladık. AUC, modelin tüm eşik değerlerinde sahteleri gerçeklerin üstüne ne kadar iyi sıraladığını sorar. F1, seçilen eşikte yakalanan sahtelerle yanlış alarmları dengeler. Brier puanı ve log kaybı ise kalibrasyonu, yani söylenen güvenin modelin doğru çıkma sıklığıyla ne kadar örtüştüğünü ölçer. Bir ağın görüntünün hangi kısımlarına dayandığını gösteren Grad-CAM, 68 yüz işaret noktasına eşlendi ve her kararı hangi bölgelerin yönlendirdiğini gösterdi.

Çeşitlendirme ile siyah dolgulu cutout birlikte en güçlü genel tespiti verdi. Yine de dört ölçüt tek bir kazananda birleşmedi ve bölge haritaları, en güçlü modelin doğru da bilse yanılsa da burun bölgesine dayandığını gösterdi. Ön işleme, bir tespit modelinin videoları ne kadar iyi sıraladığını da kararlarına ne kadar güvenilebileceğini de şekillendiriyor.

  • Çeşitlendirme ile siyah dolgulu cutout birlikte en güçlü genel tespiti verdi: AUC 0,8971, F1 puanı 0,8429 ve en iyi Brier puanı 0,1242.
  • Dört ölçüt anlaşamadı: rastgele dolgulu kombinasyonun log kaybı en düşüktü (0,4710’a karşı 0,4656), yani sıralama ve kalibrasyon farklı kazananlar gösterdi.
  • Grad-CAM, en güçlü modelin burun bölgesine dayandığını gösterdi: kaçırdığı sahtelerde burun bölgesindeki aktivasyon, taban modeldeki %49’dan %78’e çıktı.

Atıf

Atıf Atfı kopyalayın (BibTeX)
@inproceedings{kaya2026augmentation,
  author    = {Kaya, Mert and Adanova, Venera},
  title     = {Augmentation and Cutout in Deepfake Detection: A Comparative Study of Accuracy, Calibration, and Attention},
  booktitle = {2026 11th International Conference on Computer Science and Engineering (UBMK)},
  pages     = {78--83},
  year      = {2026},
  publisher = {IEEE},
  doi       = {10.1109/UBMK71847.2026.11745298},
  url       = {https://ieeexplore.ieee.org/document/11745298}
}