Todas las pruebas

Prueba comparativa · Modelos de decisión

JevOss

Un conjunto abierto de pruebas que comprueba cómo afectan los cambios de una pregunta a un modelo que elige entre respuestas predefinidas.

Sitio del proyecto

JevOss parte de preguntas con respuestas conocidas y cambia un elemento a la vez. Reordena las opciones, añade una instrucción oculta o unas 600 palabras de texto ajeno al tema, reformula una pregunta de sí o no, o repite la misma solicitud. Después mide con qué frecuencia cambia la respuesta del modelo.

El conjunto también mide la exactitud y la calibración, que indica cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos. Puede evaluar cualquier servidor compatible con la Jev API (POST /v1/systemone), incluidos JevAlt y Kev-4B.

Comprobaciones
5: orden de las opciones, instrucciones ocultas, texto ajeno al tema, formatos de sí o no, solicitudes repetidas
Comandos
eval, probe, calibrate, compare, ask
Requisitos
Python 3.11 o posterior y un servidor activo con un modelo de decisión
Versión
0.1.0, publicada el 1 de octubre de 2026
Licencia
Apache-2.0

Resultados

Instrucciones ocultas: proporción de los 200 casos de prueba en que la instrucción añadida cambió la respuesta

ModeloRespuestas modificadas
Kev-4B36,0%
Deem-4B14,0%
Karar-4B19,0%
Wähler-4B17,5%

Límites

Al añadir unas 600 palabras de texto ajeno al tema, Kev-4B pierde 5,4 puntos de exactitud, frente a 17,4 puntos de Deem-4B.

Cómo ejecutarla

La dirección predeterminada del servidor es http://127.0.0.1:8000. Inicie un servidor compatible con jevalt serve.

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

Cita

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}