全部基准测试

基准 · 决策模型

jevalt-bench

3,116 条英语、土耳其语和德语情境文本，用于测试从固定答案中作出选择并为每个答案给出概率的模型。

数据集（Hugging Face）

截至 2026年10月18日，Hugging Face 下载量为 1,600 次。

每一行描述一种情境，例如电子邮件、政策文本或聊天消息。随后一个或多个问题要求模型选择选项、给出评分，或估算回答“是”的概率。

测试结果包含准确率和校准两项指标。校准衡量模型给出的概率与实际正确频率有多接近。Brier 分数衡量概率误差，分数越低表示误差越小。

行数
3,116：英语 1,277，土耳其语 1,019，德语 820
问题数
8,434
格式
JSON Lines，每种语言一个子集
许可证
为本项目编写的数据行采用 Apache-2.0。转换而来的数据行保留原始许可证：MASSIVE CC BY 4.0；Open-Jev CC0；PAWS-X 可在注明 Google 的情况下自由使用；typed-decisions Apache-2.0。
发布日期
2026年10月1日

结果

测试问题的准确率和 Brier 分数

语言Kev-4BJevAltBrier, Kev-4BBrier, JevAlt
英语84.7%Deem-4B 94.7%0.2560.091
土耳其语87.1%Karar-4B 96.8%0.2140.058
德语81.1%Wähler-4B 92.0%0.2980.119

局限

测试数据和训练数据来自同一套数据处理流程，因此这些分数衡量的是 JevAlt 自己的任务。在独立的德语新闻数据集 10kGNAD 上，Kev-4B 的准确率为 65.3%，Wähler-4B 为 62.5%。

运行方法

使用 Hugging Face datasets 库加载一种语言的数据。要在这些数据行上测试自己的模型，可让 JevOss 连接任何支持 Jev API 的服务器。

from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])

引用

@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}