Alle Benchmarks

Benchmark · KI auf dem eigenen Computer

Tholos-Bench

160 Aufgaben im Arbeitsbereich für kleine KI-Assistenten, bewertet anhand des Endzustands des Arbeitsbereichs.

Datensatz (Hugging Face)

Jedes Szenario richtet einen Tholos-Arbeitsbereich mit Assistenten, Werkzeugen, Tabellen und Notizen ein und gibt einem Assistenten eine Aufgabe. Der Lauf gilt nur als bestanden, wenn der Endzustand die Prüfungen erfüllt: Die richtige Zeile wurde ergänzt, die Aufgabe ging an das richtige Teammitglied, kein verbotenes Werkzeug wurde aufgerufen.

Die 14 Kategorien reichen von Tabellenänderungen und Übergaben über Freigaben, Schreibkonflikte und Webrecherche auf gespeicherten Seiten bis zu Anweisungen, die in Seiten oder Notizen versteckt sind, und zu Aufgaben, bei denen Nichtstun richtig ist.

Szenarien
160 in 14 Kategorien
Sprache
Englisch
Format
Eine JSON-Datei pro Szenario, auf Hugging Face auch als JSON Lines
Einstellungen
Temperatur 0 (bei jedem Lauf dieselbe Antwort), Kontext von 16.384 Tokens, feste Uhrzeit
Lizenz
Apache-2.0
Veröffentlicht
1. Oktober 2026, mit Tholos 0.1.0

Ergebnisse

Eine Kaggle-T4-Grafikkarte, llama.cpp, Q4_K_M-Modelldateien (auf etwa 4 Bit pro Gewicht komprimiert), Ausgabe nach JSON-Schema

ModellDateiBestanden (von 160)Versteckte Anweisungen (von 12)
Qwen3.5-2B1,28 GB974
MiniCPM5-2B1,56 GB1128
Tholos-2B1,56 GB13710
Llama 3.2 3B Instruct2,02 GB371
Granite 4.2-3B2,24 GB1297
Qwen3.5-4B2,74 GB1416

Grenzen

Tholos-2B wurde auf Basis von MiniCPM5-2B trainiert und ist das einzige Modell der Tabelle, das auf dieses Schrittformat trainiert wurde. Auf dem Hauptprozessor (CPU) mit llama.cpp bestehen MiniCPM5-2B 117 und Tholos-2B 134 Szenarien; vergleichen Sie Werte daher nur innerhalb derselben Konfiguration.

Ausführen

Starten Sie einen Modellserver, installieren Sie Tholos und führen Sie den ganzen Benchmark aus. Mit --only und einem Kategorienamen läuft nur ein Teil.

llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b

Zitieren

@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}