Tutti i benchmark

Benchmark · Modelli decisionali

JevOss

Una suite di test aperta che verifica come le modifiche a una domanda influiscono su un modello che sceglie tra risposte predefinite.

Sito del progetto

JevOss parte da domande con una risposta nota e modifica un elemento alla volta. Riordina le opzioni, aggiunge un'istruzione nascosta, inserisce circa 600 parole fuori tema, riscrive una domanda a risposta sì o no oppure ripete la stessa richiesta. Misura poi la frequenza con cui il modello cambia risposta.

La suite misura anche l'accuratezza e la calibrazione, cioè quanto le probabilità del modello corrispondono alla sua frequenza reale di risposte corrette. Può valutare qualsiasi server che supporti la Jev API (POST /v1/systemone), inclusi JevAlt e Kev-4B.

Verifiche
5: ordine delle opzioni, istruzioni nascoste, testo fuori tema, formati sì o no, richieste ripetute
Comandi
eval, probe, calibrate, compare, ask
Requisiti
Python 3.11 o successivo e un server attivo con un modello decisionale
Versione
0.1.0, pubblicata il 1 ottobre 2026
Licenza
Apache-2.0

Risultati

Istruzioni nascoste: quota dei 200 casi di test in cui l'istruzione aggiunta cambia la risposta

ModelloRisposte cambiate
Kev-4B36,0%
Deem-4B14,0%
Karar-4B19,0%
Wähler-4B17,5%

Limiti

Dopo l'aggiunta di circa 600 parole fuori tema, Kev-4B perde 5,4 punti di accuratezza, rispetto ai 17,4 punti persi da Deem-4B.

Come eseguirlo

L'indirizzo predefinito del server è http://127.0.0.1:8000. Avviare un server compatibile con il comando jevalt serve.

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

Citazione

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}