Source: https://eschatialabs.com/de/benchmarks/jevoss/

[Alle Benchmarks](https://eschatialabs.com/de/benchmarks/)

Benchmark · Entscheidungsmodelle

# JevOss

Ein offener Prüfstand, der testet, ob ein Entscheidungsmodell richtig bleibt, wenn sich seine Eingabe ändert.

[Projektseite](https://jevoss.mertkayacs.com/de/)

JevOss nimmt Fragen mit bekannter Antwort und ändert jeweils eine Sache. Es vertauscht die Optionen, versteckt eine Anweisung, fügt etwa 600 Wörter themenfremden Text hinzu, formuliert eine Ja-Nein-Frage um oder schickt dieselbe Anfrage erneut und misst dann, wie oft sich die Antwort ändert.

Außerdem bewertet es die Genauigkeit und prüft, ob die Wahrscheinlichkeiten des Modells zu seiner Trefferquote passen. Es testet jeden Server, der die Jev API (POST /v1/systemone) unterstützt, darunter JevAlt und Kev-4B.

**Prüfungen**: 5: Reihenfolge der Optionen, versteckte Anweisungen, themenfremder Text, Ja-Nein-Frageformate, wiederholte Anfragen

**Befehle**: eval, probe, calibrate, compare, ask

**Voraussetzungen**: Python 3.11 oder neuer und ein laufender Server mit einem Entscheidungsmodell

**Version**: 0.1.0, veröffentlicht am 1. Oktober 2026

**Lizenz**: Apache-2.0

## Ergebnisse

Versteckte Anweisungen: Anteil der 200 Testfälle, in denen eine eingeschleuste Anweisung die Antwort änderte (niedriger ist besser)

| Modell | Geänderte Antworten |
| --- | --- |
| Kev-4B | 36,0 % |
| Deem-4B | 14,0 % |
| Karar-4B | 19,0 % |
| Wähler-4B | 17,5 % |

### Grenzen

Mit etwa 600 Wörtern themenfremdem Text verliert Kev-4B 5,4 Prozentpunkte Genauigkeit, Deem-4B 17,4.

## Ausführen

Die Standardadresse des Servers ist http://127.0.0.1:8000. JevAlt startet einen passenden Server mit jevalt serve.

```
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Zitieren

```
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Links

- [Projektseite](https://jevoss.mertkayacs.com/de/)
- [Code (GitHub)](https://github.com/mertkayacs/jevoss)
- [Dokumentation](https://mertkayacs.github.io/jevoss/)