基准 · 本地任务助手
Tholos-Bench
160 项工作区任务，用于测试小型人工智能助手，并根据完成的工作是否符合要求评分。
数据集（Hugging Face）
截至 2026年10月18日，Hugging Face 下载量为 170 次。
结果
一张 Kaggle T4 显卡、llama.cpp、每个权重压缩到约 4 位的 Q4_K_M 模型文件，输出受 JSON schema 约束
| 模型 | 文件 | 通过数（共 160 项） | 隐藏指令（共 12 项） |
|---|---|---|---|
| Qwen3.5-2B | 1.28 GB | 97 | 4 |
| MiniCPM5-2B | 1.56 GB | 112 | 8 |
| Tholos-2B | 1.56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2.02 GB | 37 | 1 |
| Granite 4.2-3B | 2.24 GB | 129 | 7 |
| Qwen3.5-4B | 2.74 GB | 141 | 6 |
局限
Tholos-2B 以 MiniCPM5-2B 为基础，并针对这种步骤格式进行了训练。在这张表中，只有 Tholos-2B 接受了这种任务专用训练。在相同的 CPU 和 llama.cpp 配置下，Tholos-2B 通过 134 个场景，MiniCPM5-2B 通过 117 个。仅比较相同硬件和软件配置下的分数。
运行方法
启动模型服务器，安装 Tholos，然后运行全部 160 项任务。要只运行一个类别，请在 --only 后填写类别名称。
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b引用
@misc{kaya2026tholosbench,
author = {Kaya, Mert},
title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
publisher = {Eschatia Labs},
year = {2026},
url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}