Source: https://eschatialabs.com/it/benchmarks/jevalt-bench/

[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/)

Benchmark · Modelli decisionali

# jevalt-bench

3.116 descrizioni di situazioni in inglese, turco e tedesco per valutare modelli che scelgono tra risposte predefinite e assegnano una probabilità a ciascuna.

[Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

1600 download su Hugging Face al 18 ottobre 2026.

Ogni riga descrive una situazione, per esempio un'email, un regolamento o un messaggio di chat. Una o più domande chiedono poi al modello di scegliere un'opzione, dare una valutazione o stimare la probabilità di una risposta affermativa.

Il test riporta l'accuratezza e la calibrazione, cioè quanto le probabilità indicate dal modello corrispondono alla sua frequenza reale di risposte corrette. L'errore di probabilità viene misurato con il punteggio Brier; un valore più basso indica un errore minore.

**Righe**: 3.116: inglese 1.277, turco 1.019, tedesco 820

**Domande**: 8.434

**Formato**: JSON Lines, un sottoinsieme per lingua

**Licenza**: Le righe scritte per il progetto sono sotto licenza Apache-2.0. Le righe convertite mantengono la licenza della fonte: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X utilizzabile liberamente citando Google, typed-decisions Apache-2.0.

**Pubblicazione**: 1 ottobre 2026

## Risultati

Accuratezza e punteggio Brier sulle domande di test

| Lingua | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
| --- | --- | --- | --- | --- |
| Inglese | 84,7% | Deem-4B 94,7% | 0,256 | 0,091 |
| Turco | 87,1% | Karar-4B 96,8% | 0,214 | 0,058 |
| Tedesco | 81,1% | Wähler-4B 92,0% | 0,298 | 0,119 |

### Limiti

Le righe di test e di addestramento provengono dallo stesso processo di preparazione dei dati, quindi questi punteggi misurano il compito specifico di JevAlt. Sul dataset separato di notizie tedesche 10kGNAD, Kev-4B raggiunge il 65,3% di accuratezza, rispetto al 62,5% di Wähler-4B.

## Come eseguirlo

Caricare una lingua con la libreria datasets di Hugging Face. Per valutare il proprio modello su queste righe, collegare JevOss a qualsiasi server che supporti la Jev API.

```
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## Citazione

```
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## Link

- [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/jevalt-bench)
- [Codice (GitHub)](https://github.com/mertkayacs/jevalt)
- [Sito del progetto](https://jevalt.mertkayacs.com/)
- [Rapporto tecnico](https://eschatialabs.com/it/research/jevalt-report/)