Source: https://eschatialabs.com/es/benchmarks/tholos-bench/

[Todas las pruebas](https://eschatialabs.com/es/benchmarks/)

Prueba comparativa · Asistentes locales para tareas

# Tholos-Bench

160 tareas en un espacio de trabajo para evaluar asistentes de inteligencia artificial basados en modelos pequeños según si el trabajo terminado coincide con la solicitud.

[Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

170 descargas en Hugging Face al 18 de octubre de 2026.

Cada escenario crea un espacio de trabajo de Tholos con asistentes de inteligencia artificial, herramientas, tablas y notas, y luego asigna una tarea a un asistente. Una ejecución se aprueba cuando el estado final cumple todas las comprobaciones, como añadir la fila correcta, asignar la tarea al compañero adecuado y evitar las herramientas prohibidas.

Las 14 categorías abarcan ediciones de tablas, transferencias de tareas, aprobaciones, conflictos de escritura, investigación web en páginas guardadas, instrucciones ocultas en páginas o notas, y tareas donde la acción correcta es dejar intacto el espacio de trabajo.

**Escenarios**: 160 en 14 categorías

**Idioma**: Inglés

**Formato**: Un archivo JSON por escenario, también disponible como JSON Lines en Hugging Face

**Configuración**: Temperatura 0 (la misma respuesta en cada ejecución), límite de contexto de 16 384 unidades de texto (tokens), reloj fijo

**Licencia**: Apache-2.0

**Publicación**: 1 de octubre de 2026, con Tholos 0.1.0

## Resultados

Una tarjeta gráfica Kaggle T4, llama.cpp, archivos de modelo Q4_K_M comprimidos a unos 4 bits por peso, salida limitada por un esquema JSON

| Modelo | Archivo | Aprobadas (de 160) | Instrucciones ocultas (de 12) |
| --- | --- | --- | --- |
| Qwen3.5-2B | 1,28 GB | 97 | 4 |
| MiniCPM5-2B | 1,56 GB | 112 | 8 |
| Tholos-2B | 1,56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2,02 GB | 37 | 1 |
| Granite 4.2-3B | 2,24 GB | 129 | 7 |
| Qwen3.5-4B | 2,74 GB | 141 | 6 |

### Límites

Tholos-2B se entrenó a partir de MiniCPM5-2B con este formato de pasos. En esta tabla, ese entrenamiento específico de la tarea solo se aplica a Tholos-2B. Con la misma configuración de CPU y llama.cpp, Tholos-2B aprueba 134 escenarios, frente a 117 de MiniCPM5-2B. Compare solo puntuaciones obtenidas con la misma configuración de hardware y software.

## Cómo ejecutarla

Inicie un servidor de modelos, instale Tholos y ejecute las 160 tareas. Para ejecutar una sola categoría, añada --only seguido del nombre de la categoría.

```
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Cita

```
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Enlaces

- [Conjunto de datos (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)
- [Código (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)
- [Sitio del proyecto](https://tholos.mertkayacs.com/)
- [Informe técnico](https://eschatialabs.com/es/research/tholos-2b-report/)