Todas las pruebas

Prueba comparativa · Modelos de decisión

jevalt-bench

3116 situaciones escritas en inglés, turco y alemán para evaluar modelos que eligen entre respuestas predefinidas y asignan una probabilidad a cada una.

Conjunto de datos (Hugging Face)

1600 descargas en Hugging Face al 18 de octubre de 2026.

Cada fila describe una situación, como un correo electrónico, una norma o un mensaje de chat. Una o más preguntas piden al modelo que elija una opción, dé una valoración o estime la probabilidad de responder sí.

La prueba presenta la exactitud y la calibración, que indica cuánto se acercan las probabilidades del modelo a su frecuencia real de aciertos. El error de probabilidad se mide con la puntuación de Brier; un valor más bajo indica un error menor.

Filas
3116: inglés 1277, turco 1019, alemán 820
Preguntas
8434
Formato
JSON Lines, un subconjunto por idioma
Licencia
Las filas escritas para el proyecto usan Apache-2.0. Las filas convertidas conservan la licencia de su fuente: MASSIVE CC BY 4.0, Open-Jev CC0, PAWS-X de uso libre con atribución a Google, typed-decisions Apache-2.0.
Publicación
1 de octubre de 2026

Resultados

Exactitud y puntuación de Brier en las preguntas de prueba

IdiomaKev-4BJevAltBrier, Kev-4BBrier, JevAlt
Inglés84,7%Deem-4B 94,7%0,2560,091
Turco87,1%Karar-4B 96,8%0,2140,058
Alemán81,1%Wähler-4B 92,0%0,2980,119

Límites

Las filas de prueba y entrenamiento provienen del mismo proceso de preparación de datos, por lo que estas puntuaciones miden la tarea propia de JevAlt. En el conjunto independiente de noticias en alemán 10kGNAD, Kev-4B alcanza un 65,3% de exactitud, frente al 62,5% de Wähler-4B.

Cómo ejecutarla

Cargue un idioma con la biblioteca datasets de Hugging Face. Para evaluar su propio modelo con estas filas, conecte JevOss a cualquier servidor compatible con la Jev API.

from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])

Cita

@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}