Todas las pruebas

Prueba comparativa · Asistentes locales para tareas

Tholos-Bench

160 tareas en un espacio de trabajo para evaluar asistentes de inteligencia artificial basados en modelos pequeños según si el trabajo terminado coincide con la solicitud.

Conjunto de datos (Hugging Face)

170 descargas en Hugging Face al 18 de octubre de 2026.

Cada escenario crea un espacio de trabajo de Tholos con asistentes de inteligencia artificial, herramientas, tablas y notas, y luego asigna una tarea a un asistente. Una ejecución se aprueba cuando el estado final cumple todas las comprobaciones, como añadir la fila correcta, asignar la tarea al compañero adecuado y evitar las herramientas prohibidas.

Las 14 categorías abarcan ediciones de tablas, transferencias de tareas, aprobaciones, conflictos de escritura, investigación web en páginas guardadas, instrucciones ocultas en páginas o notas, y tareas donde la acción correcta es dejar intacto el espacio de trabajo.

Escenarios
160 en 14 categorías
Idioma
Inglés
Formato
Un archivo JSON por escenario, también disponible como JSON Lines en Hugging Face
Configuración
Temperatura 0 (la misma respuesta en cada ejecución), límite de contexto de 16 384 unidades de texto (tokens), reloj fijo
Licencia
Apache-2.0
Publicación
1 de octubre de 2026, con Tholos 0.1.0

Resultados

Una tarjeta gráfica Kaggle T4, llama.cpp, archivos de modelo Q4_K_M comprimidos a unos 4 bits por peso, salida limitada por un esquema JSON

ModeloArchivoAprobadas (de 160)Instrucciones ocultas (de 12)
Qwen3.5-2B1,28 GB974
MiniCPM5-2B1,56 GB1128
Tholos-2B1,56 GB13710
Llama 3.2 3B Instruct2,02 GB371
Granite 4.2-3B2,24 GB1297
Qwen3.5-4B2,74 GB1416

Límites

Tholos-2B se entrenó a partir de MiniCPM5-2B con este formato de pasos. En esta tabla, ese entrenamiento específico de la tarea solo se aplica a Tholos-2B. Con la misma configuración de CPU y llama.cpp, Tholos-2B aprueba 134 escenarios, frente a 117 de MiniCPM5-2B. Compare solo puntuaciones obtenidas con la misma configuración de hardware y software.

Cómo ejecutarla

Inicie un servidor de modelos, instale Tholos y ejecute las 160 tareas. Para ejecutar una sola categoría, añada --only seguido del nombre de la categoría.

llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b

Cita

@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}