Tüm testler

Karşılaştırma testi · Karar modelleri

JevOss

Bir karar modelinin, girdisi değiştiğinde de doğru kalıp kalmadığını sınayan açık kaynaklı test aracı.

Proje sitesi

JevOss, yanıtı bilinen sorularda her seferinde tek bir şeyi değiştirir: seçeneklerin sırasını karıştırır, gizli bir talimat yerleştirir, yaklaşık 600 sözcük ilgisiz metin ekler, evet-hayır sorusunu yeniden yazar ya da aynı isteği tekrar gönderir. Ardından yanıtın ne kadar sık değiştiğini ölçer.

Ayrıca doğruluğu puanlar ve modelin olasılıklarının gerçek doğruluk oranıyla örtüşüp örtüşmediğini denetler. JevAlt ve Kev-4B dahil, Jev API’yi (POST /v1/systemone) destekleyen her sunucuyu test edebilir.

Testler
5: seçenek sırası, gizli talimatlar, ilgisiz metin, evet-hayır soru biçimleri, tekrarlanan istekler
Komutlar
eval, probe, calibrate, compare, ask
Gereksinimler
Python 3.11 ya da üzeri ve çalışan bir karar modeli sunucusu
Sürüm
0.1.0, 1 Ekim 2026’da yayımlandı
Lisans
Apache-2.0

Sonuçlar

Gizli talimatlar: 200 test durumu içinde, yerleştirilen talimatın yanıtı değiştirdiği durumların oranı (düşük olan daha iyi)

ModelDeğişen yanıtlar
Kev-4B%36,0
Deem-4B%14,0
Karar-4B%19,0
Wähler-4B%17,5

Sınırlar

Yaklaşık 600 sözcük ilgisiz metin eklendiğinde Kev-4B 5,4 puan, Deem-4B 17,4 puan doğruluk kaybediyor.

Nasıl çalıştırılır

Varsayılan sunucu adresi http://127.0.0.1:8000. JevAlt sunucusunu jevalt serve komutuyla başlatabilirsiniz.

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

Atıf

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}