全部基准测试

基准 · 决策模型

JevOss

一套开放测试，用于检查问题发生变化时，从固定答案中作出选择的模型会受到什么影响。

项目网站

JevOss 从答案已知的问题开始，每次只改变一个因素。它会调整选项顺序、加入隐藏指令、插入约 600 词的无关文本、改写是非题，或重复发送同一请求，然后测量模型改变答案的频率。

这套测试还测量准确率和校准情况。校准衡量模型给出的概率与实际正确频率有多接近。JevOss 可以测试任何支持 Jev API（POST /v1/systemone）的服务器，包括 JevAlt 和 Kev-4B。

检查项目
5 项：选项顺序、隐藏指令、无关文本、是非题格式、重复请求
命令
eval、probe、calibrate、compare、ask
要求
Python 3.11 或更高版本，以及一个正在运行的决策模型服务器
版本
0.1.0，发布于 2026年10月1日
许可证
Apache-2.0

结果

隐藏指令：在 200 个测试案例中，新增指令导致答案改变的比例

模型答案改变比例
Kev-4B36.0%
Deem-4B14.0%
Karar-4B19.0%
Wähler-4B17.5%

局限

加入约 600 词的无关文本后，Kev-4B 的准确率下降 5.4 个百分点，Deem-4B 下降 17.4 个百分点。

运行方法

默认服务器地址为 http://127.0.0.1:8000。运行 jevalt serve 可启动兼容服务器。

pip install "jevoss[suites] @ git+https://github.com/mertkayacs/jevoss"
jevoss eval typed-decisions
jevoss probe typed-decisions --limit 100

引用

@software{kaya2026jevoss,
  author = {Mert Kaya},
  title = {JevOss: Open Evaluation Toolkit for Jev-Type Decision Models},
  year = {2026},
  license = {Apache-2.0},
  url = {https://github.com/mertkayacs/jevoss}
}