Benchmark · Modelli decisionali
jevalt-bench
3.116 descrizioni di situazioni in inglese, turco e tedesco per valutare modelli che scelgono tra risposte predefinite e assegnano una probabilità a ciascuna.
Dataset (Hugging Face)
1600 download su Hugging Face al 18 ottobre 2026.
Risultati
Accuratezza e punteggio Brier sulle domande di test
| Lingua | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
|---|---|---|---|---|
| Inglese | 84,7% | Deem-4B 94,7% | 0,256 | 0,091 |
| Turco | 87,1% | Karar-4B 96,8% | 0,214 | 0,058 |
| Tedesco | 81,1% | Wähler-4B 92,0% | 0,298 | 0,119 |
Limiti
Le righe di test e di addestramento provengono dallo stesso processo di preparazione dei dati, quindi questi punteggi misurano il compito specifico di JevAlt. Sul dataset separato di notizie tedesche 10kGNAD, Kev-4B raggiunge il 65,3% di accuratezza, rispetto al 62,5% di Wähler-4B.
Come eseguirlo
Caricare una lingua con la libreria datasets di Hugging Face. Per valutare il proprio modello su queste righe, collegare JevOss a qualsiasi server che supporti la Jev API.
from datasets import load_dataset
test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])Citazione
@techreport{kaya2026jevaltreport,
author = {Kaya, Mert},
title = {JevAlt: Technical report},
institution = {Eschatia Labs},
year = {2026},
url = {https://eschatialabs.com/research/jevalt-report/},
note = {Technical report, not peer-reviewed}
}