Source: https://eschatialabs.com/it/benchmarks/tholos-bench/

[Tutti i benchmark](https://eschatialabs.com/it/benchmarks/)

Benchmark · Assistenti locali per attività

# Tholos-Bench

160 attività in uno spazio di lavoro per valutare piccoli assistenti di intelligenza artificiale in base alla corrispondenza tra il lavoro svolto e la richiesta.

[Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)

170 download su Hugging Face al 18 ottobre 2026.

Ogni scenario crea uno spazio di lavoro Tholos con assistenti di intelligenza artificiale, strumenti, tabelle e note, quindi assegna un'attività a un assistente. L'esecuzione supera il test quando lo stato finale soddisfa tutti i controlli, per esempio aggiungere la riga giusta, assegnare l'attività al collaboratore giusto e non usare strumenti vietati.

Le 14 categorie comprendono modifiche alle tabelle, passaggi di attività, approvazioni, conflitti di scrittura, ricerche sul web in pagine salvate, istruzioni nascoste in pagine o note e attività in cui la scelta corretta consiste nel lasciare invariato lo spazio di lavoro.

**Scenari**: 160 in 14 categorie

**Lingua**: Inglese

**Formato**: Un file JSON per scenario, disponibile anche come JSON Lines su Hugging Face

**Impostazioni**: Temperatura 0 (la stessa risposta a ogni esecuzione), limite di contesto di 16.384 unità di testo (token), orologio fisso

**Licenza**: Apache-2.0

**Pubblicazione**: 1 ottobre 2026, con Tholos 0.1.0

## Risultati

Una scheda grafica Kaggle T4, llama.cpp, file dei modelli Q4_K_M compressi a circa 4 bit per peso, output vincolato a uno schema JSON

| Modello | File | Superati (su 160) | Istruzioni nascoste (su 12) |
| --- | --- | --- | --- |
| Qwen3.5-2B | 1,28 GB | 97 | 4 |
| MiniCPM5-2B | 1,56 GB | 112 | 8 |
| Tholos-2B | 1,56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2,02 GB | 37 | 1 |
| Granite 4.2-3B | 2,24 GB | 129 | 7 |
| Qwen3.5-4B | 2,74 GB | 141 | 6 |

### Limiti

Tholos-2B è stato addestrato a partire da MiniCPM5-2B su questo formato a passaggi ed è l'unico modello della tabella con questo addestramento. Con la stessa configurazione CPU e llama.cpp, Tholos-2B supera 134 scenari, rispetto ai 117 di MiniCPM5-2B. Confrontare solo i punteggi ottenuti con la stessa configurazione hardware e software.

## Come eseguirlo

Avviare un server per il modello, installare Tholos ed eseguire tutte le 160 attività. Per eseguire una sola categoria, aggiungere --only seguito dal nome della categoria.

```
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## Citazione

```
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## Link

- [Dataset (Hugging Face)](https://huggingface.co/datasets/mertkayacs/tholos-bench)
- [Codice (GitHub)](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)
- [Sito del progetto](https://tholos.mertkayacs.com/)
- [Rapporto tecnico](https://eschatialabs.com/it/research/tholos-2b-report/)