Source: https://eschatialabs.com/tr/benchmarks/jevoss/

[Tüm testler](https://eschatialabs.com/tr/benchmarks/)

Karşılaştırma testi · Karar modelleri

# JevOss

Bir karar modelinin, girdisi değiştiğinde de doğru kalıp kalmadığını sınayan açık kaynaklı test aracı.

[Proje sitesi](https://jevoss.mertkayacs.com/tr/)

JevOss, yanıtı bilinen sorularda her seferinde tek bir şeyi değiştirir: seçeneklerin sırasını karıştırır, gizli bir talimat yerleştirir, yaklaşık 600 sözcük ilgisiz metin ekler, evet-hayır sorusunu yeniden yazar ya da aynı isteği tekrar gönderir. Ardından yanıtın ne kadar sık değiştiğini ölçer.

Ayrıca doğruluğu puanlar ve modelin olasılıklarının gerçek doğruluk oranıyla örtüşüp örtüşmediğini denetler. JevAlt ve Kev-4B dahil, Jev API’yi (POST /v1/systemone) destekleyen her sunucuyu test edebilir.

**Testler**: 5: seçenek sırası, gizli talimatlar, ilgisiz metin, evet-hayır soru biçimleri, tekrarlanan istekler

**Komutlar**: eval, probe, calibrate, compare, ask

**Gereksinimler**: Python 3.11 ya da üzeri ve çalışan bir karar modeli sunucusu

**Sürüm**: 0.1.0, 1 Ekim 2026’da yayımlandı

**Lisans**: Apache-2.0

## Sonuçlar

Gizli talimatlar: 200 test durumu içinde, yerleştirilen talimatın yanıtı değiştirdiği durumların oranı (düşük olan daha iyi)

| Model | Değişen yanıtlar |
| --- | --- |
| Kev-4B | %36,0 |
| Deem-4B | %14,0 |
| Karar-4B | %19,0 |
| Wähler-4B | %17,5 |

### Sınırlar

Yaklaşık 600 sözcük ilgisiz metin eklendiğinde Kev-4B 5,4 puan, Deem-4B 17,4 puan doğruluk kaybediyor.

## Nasıl çalıştırılır

Varsayılan sunucu adresi http://127.0.0.1:8000. JevAlt sunucusunu jevalt serve komutuyla başlatabilirsiniz.

```
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Atıf

```
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Bağlantılar

- [Proje sitesi](https://jevoss.mertkayacs.com/tr/)
- [Kod (GitHub)](https://github.com/mertkayacs/jevoss)
- [Belgeler](https://mertkayacs.github.io/jevoss/)