Tutti i benchmark

Benchmark · Assistenti locali per attività

Tholos-Bench

160 attività in uno spazio di lavoro per valutare piccoli assistenti di intelligenza artificiale in base alla corrispondenza tra il lavoro svolto e la richiesta.

Dataset (Hugging Face)

170 download su Hugging Face al 18 ottobre 2026.

Ogni scenario crea uno spazio di lavoro Tholos con assistenti di intelligenza artificiale, strumenti, tabelle e note, quindi assegna un'attività a un assistente. L'esecuzione supera il test quando lo stato finale soddisfa tutti i controlli, per esempio aggiungere la riga giusta, assegnare l'attività al collaboratore giusto e non usare strumenti vietati.

Le 14 categorie comprendono modifiche alle tabelle, passaggi di attività, approvazioni, conflitti di scrittura, ricerche sul web in pagine salvate, istruzioni nascoste in pagine o note e attività in cui la scelta corretta consiste nel lasciare invariato lo spazio di lavoro.

Scenari
160 in 14 categorie
Lingua
Inglese
Formato
Un file JSON per scenario, disponibile anche come JSON Lines su Hugging Face
Impostazioni
Temperatura 0 (la stessa risposta a ogni esecuzione), limite di contesto di 16.384 unità di testo (token), orologio fisso
Licenza
Apache-2.0
Pubblicazione
1 ottobre 2026, con Tholos 0.1.0

Risultati

Una scheda grafica Kaggle T4, llama.cpp, file dei modelli Q4_K_M compressi a circa 4 bit per peso, output vincolato a uno schema JSON

ModelloFileSuperati (su 160)Istruzioni nascoste (su 12)
Qwen3.5-2B1,28 GB974
MiniCPM5-2B1,56 GB1128
Tholos-2B1,56 GB13710
Llama 3.2 3B Instruct2,02 GB371
Granite 4.2-3B2,24 GB1297
Qwen3.5-4B2,74 GB1416

Limiti

Tholos-2B è stato addestrato a partire da MiniCPM5-2B su questo formato a passaggi ed è l'unico modello della tabella con questo addestramento. Con la stessa configurazione CPU e llama.cpp, Tholos-2B supera 134 scenari, rispetto ai 117 di MiniCPM5-2B. Confrontare solo i punteggi ottenuti con la stessa configurazione hardware e software.

Come eseguirlo

Avviare un server per il modello, installare Tholos ed eseguire tutte le 160 attività. Per eseguire una sola categoria, aggiungere --only seguito dal nome della categoria.

llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b

Citazione

@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}