Source: https://eschatialabs.com/it/benchmarks/jevoss/

[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/)

Benchmark · Modelli decisionali

# JevOss

Una suite di test aperta che verifica come le modifiche a una domanda influiscono su un modello che sceglie tra risposte predefinite.

[Sito del progetto](https://jevoss.mertkayacs.com/)

JevOss parte da domande con una risposta nota e modifica un elemento alla volta. Riordina le opzioni, aggiunge un'istruzione nascosta, inserisce circa 600 parole fuori tema, riscrive una domanda a risposta sì o no oppure ripete la stessa richiesta. Misura poi la frequenza con cui il modello cambia risposta.

La suite misura anche l'accuratezza e la calibrazione, cioè quanto le probabilità del modello corrispondono alla sua frequenza reale di risposte corrette. Può valutare qualsiasi server che supporti la Jev API (POST /v1/systemone), inclusi JevAlt e Kev-4B.

**Verifiche**: 5: ordine delle opzioni, istruzioni nascoste, testo fuori tema, formati sì o no, richieste ripetute

**Comandi**: eval, probe, calibrate, compare, ask

**Requisiti**: Python 3.11 o successivo e un server attivo con un modello decisionale

**Versione**: 0.1.0, pubblicata il 1 ottobre 2026

**Licenza**: Apache-2.0

## Risultati

Istruzioni nascoste: quota dei 200 casi di test in cui l'istruzione aggiunta cambia la risposta

| Modello | Risposte cambiate |
| --- | --- |
| Kev-4B | 36,0% |
| Deem-4B | 14,0% |
| Karar-4B | 19,0% |
| Wähler-4B | 17,5% |

### Limiti

Dopo l'aggiunta di circa 600 parole fuori tema, Kev-4B perde 5,4 punti di accuratezza, rispetto ai 17,4 punti persi da Deem-4B.

## Come eseguirlo

L'indirizzo predefinito del server è http://127.0.0.1:8000. Avviare un server compatibile con il comando jevalt serve.

```
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Citazione

```
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Link

- [Sito del progetto](https://jevoss.mertkayacs.com/)
- [Codice (GitHub)](https://github.com/mertkayacs/jevoss)
- [Documentazione](https://mertkayacs.github.io/jevoss/)