Source: https://eschatialabs.com/zh/benchmarks/tholos-bench/

[全部基准测试](https://eschatialabs.com/zh/benchmarks/)

基准 · 本地任务助手

# Tholos-Bench

160 项工作区任务，用于测试小型人工智能助手，并根据完成的工作是否符合要求评分。

[数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/tholos-bench)

截至 2026年10月18日，Hugging Face 下载量为 170 次。

每个场景都会创建一个包含人工智能助手、工具、表格和笔记的 Tholos 工作区，再向其中一个助手分配任务。最终工作区通过所有检查时，本次运行才算通过，例如添加了正确的数据行、把任务交给正确的队友，并且没有调用禁用工具。

14 个类别涵盖表格编辑、任务转交、批准流程、写入冲突、对已保存网页的研究、藏在网页或笔记中的指令，以及应保持工作区不变的任务。

**场景**: 14 个类别，共 160 项

**语言**: 英语

**格式**: 每个场景一个 JSON 文件；Hugging Face 另提供 JSON Lines 格式

**设置**: 温度 0（每次运行给出相同答案）、16,384 个文本单位（token）的上下文上限、固定时钟

**许可证**: Apache-2.0

**发布日期**: 2026年10月1日，与 Tholos 0.1.0 同时发布

## 结果

一张 Kaggle T4 显卡、llama.cpp、每个权重压缩到约 4 位的 Q4_K_M 模型文件，输出受 JSON schema 约束

| 模型 | 文件 | 通过数（共 160 项） | 隐藏指令（共 12 项） |
| --- | --- | --- | --- |
| Qwen3.5-2B | 1.28 GB | 97 | 4 |
| MiniCPM5-2B | 1.56 GB | 112 | 8 |
| Tholos-2B | 1.56 GB | 137 | 10 |
| Llama 3.2 3B Instruct | 2.02 GB | 37 | 1 |
| Granite 4.2-3B | 2.24 GB | 129 | 7 |
| Qwen3.5-4B | 2.74 GB | 141 | 6 |

### 局限

Tholos-2B 以 MiniCPM5-2B 为基础，并针对这种步骤格式进行了训练。在这张表中，只有 Tholos-2B 接受了这种任务专用训练。在相同的 CPU 和 llama.cpp 配置下，Tholos-2B 通过 134 个场景，MiniCPM5-2B 通过 117 个。仅比较相同硬件和软件配置下的分数。

## 运行方法

启动模型服务器，安装 Tholos，然后运行全部 160 项任务。要只运行一个类别，请在 --only 后填写类别名称。

```
llama-server -hf mertkayacs/Tholos-2B-GGUF:Q4_K_M --jinja -c 16384 -t 4 -a tholos-2b --host 127.0.0.1 --port 8080
uv tool install git+https://github.com/mertkayacs/tholos
tholos bench --base-url http://127.0.0.1:8080/v1 --model tholos-2b
```

## 引用

```
@misc{kaya2026tholosbench,
  author = {Kaya, Mert},
  title = {Tholos-Bench: Workspace Tasks for Small AI Assistants},
  publisher = {Eschatia Labs},
  year = {2026},
  url = {https://huggingface.co/datasets/mertkayacs/tholos-bench}
}
```

## 链接

- [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/tholos-bench)
- [代码（GitHub）](https://github.com/mertkayacs/tholos/tree/main/tholos/bench)
- [项目网站](https://tholos.mertkayacs.com/)
- [技术报告](https://eschatialabs.com/zh/research/tholos-2b-report/)