Source: https://eschatialabs.com/zh/benchmarks/jevoss/

[全部基准测试](https://eschatialabs.com/zh/benchmarks/)

基准 · 决策模型

# JevOss

一套开放测试，用于检查问题发生变化时，从固定答案中作出选择的模型会受到什么影响。

[项目网站](https://jevoss.mertkayacs.com/)

JevOss 从答案已知的问题开始，每次只改变一个因素。它会调整选项顺序、加入隐藏指令、插入约 600 词的无关文本、改写是非题，或重复发送同一请求，然后测量模型改变答案的频率。

这套测试还测量准确率和校准情况。校准衡量模型给出的概率与实际正确频率有多接近。JevOss 可以测试任何支持 Jev API（POST /v1/systemone）的服务器，包括 JevAlt 和 Kev-4B。

**检查项目**: 5 项：选项顺序、隐藏指令、无关文本、是非题格式、重复请求

**命令**: eval、probe、calibrate、compare、ask

**要求**: Python 3.11 或更高版本，以及一个正在运行的决策模型服务器

**版本**: 0.1.0，发布于 2026年10月1日

**许可证**: Apache-2.0

## 结果

隐藏指令：在 200 个测试案例中，新增指令导致答案改变的比例

| 模型 | 答案改变比例 |
| --- | --- |
| Kev-4B | 36.0% |
| Deem-4B | 14.0% |
| Karar-4B | 19.0% |
| Wähler-4B | 17.5% |

### 局限

加入约 600 词的无关文本后，Kev-4B 的准确率下降 5.4 个百分点，Deem-4B 下降 17.4 个百分点。

## 运行方法

默认服务器地址为 http://127.0.0.1:8000。运行 jevalt serve 可启动兼容服务器。

```
pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100
```

## 引用

```
@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}
```

## 链接

- [项目网站](https://jevoss.mertkayacs.com/)
- [代码（GitHub）](https://github.com/mertkayacs/jevoss)
- [文档](https://mertkayacs.github.io/jevoss/)