Source: https://eschatialabs.com/es/benchmarks/jevoss/

[Todas las pruebas](https://eschatialabs.com/es/benchmarks/)

Prueba comparativa · Modelos de decisión

# JevOss

Un conjunto abierto de pruebas que comprueba cómo afectan los cambios de una pregunta a un modelo que elige entre respuestas predefinidas.

[Sitio del proyecto](https://jevoss.mertkayacs.com/)

JevOss parte de preguntas con respuestas conocidas y cambia un elemento a la vez. Reordena las opciones, añade una instrucción oculta o unas 600 palabras de texto ajeno al tema, reformula una pregunta de sí o no, o repite la misma solicitud. Después mide con qué frecuencia cambia la respuesta del modelo.

El conjunto también mide la exactitud y la calibración, que indica cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos. Puede evaluar cualquier servidor compatible con la Jev API (POST /v1/systemone), incluidos JevAlt y Kev-4B.

**Comprobaciones**: 5: orden de las opciones, instrucciones ocultas, texto ajeno al tema, formatos de sí o no, solicitudes repetidas

**Comandos**: eval, probe, calibrate, compare, ask

**Requisitos**: Python 3.11 o posterior y un servidor activo con un modelo de decisión

**Versión**: 0.1.0, publicada el 1 de octubre de 2026

**Licencia**: Apache-2.0

## Resultados

Instrucciones ocultas: proporción de los 200 casos de prueba en que la instrucción añadida cambió la respuesta

| Modelo | Respuestas modificadas |
| --- | --- |
| Kev-4B | 36,0% |
| Deem-4B | 14,0% |
| Karar-4B | 19,0% |
| Wähler-4B | 17,5% |

### Límites

Al añadir unas 600 palabras de texto ajeno al tema, Kev-4B pierde 5,4 puntos de exactitud, frente a 17,4 puntos de Deem-4B.

## Cómo ejecutarla

La dirección predeterminada del servidor es http://127.0.0.1:8000. Inicie un servidor compatible con jevalt serve.

```
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## Cita

```
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## Enlaces

- [Sitio del proyecto](https://jevoss.mertkayacs.com/)
- [Código (GitHub)](https://github.com/mertkayacs/jevoss)
- [Documentación](https://mertkayacs.github.io/jevoss/)