Source: https://eschatialabs.com/zh/benchmarks/jevalt-bench/

[全部基准测试](https://eschatialabs.com/zh/benchmarks/)

基准 · 决策模型

# jevalt-bench

3,116 条英语、土耳其语和德语情境文本，用于测试从固定答案中作出选择并为每个答案给出概率的模型。

[数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/jevalt-bench)

截至 2026年10月18日，Hugging Face 下载量为 1,600 次。

每一行描述一种情境，例如电子邮件、政策文本或聊天消息。随后一个或多个问题要求模型选择选项、给出评分，或估算回答“是”的概率。

测试结果包含准确率和校准两项指标。校准衡量模型给出的概率与实际正确频率有多接近。Brier 分数衡量概率误差，分数越低表示误差越小。

**行数**: 3,116：英语 1,277，土耳其语 1,019，德语 820

**问题数**: 8,434

**格式**: JSON Lines，每种语言一个子集

**许可证**: 为本项目编写的数据行采用 Apache-2.0。转换而来的数据行保留原始许可证：MASSIVE CC BY 4.0；Open-Jev CC0；PAWS-X 可在注明 Google 的情况下自由使用；typed-decisions Apache-2.0。

**发布日期**: 2026年10月1日

## 结果

测试问题的准确率和 Brier 分数

| 语言 | Kev-4B | JevAlt | Brier, Kev-4B | Brier, JevAlt |
| --- | --- | --- | --- | --- |
| 英语 | 84.7% | Deem-4B 94.7% | 0.256 | 0.091 |
| 土耳其语 | 87.1% | Karar-4B 96.8% | 0.214 | 0.058 |
| 德语 | 81.1% | Wähler-4B 92.0% | 0.298 | 0.119 |

### 局限

测试数据和训练数据来自同一套数据处理流程，因此这些分数衡量的是 JevAlt 自己的任务。在独立的德语新闻数据集 10kGNAD 上，Kev-4B 的准确率为 65.3%，Wähler-4B 为 62.5%。

## 运行方法

使用 Hugging Face datasets 库加载一种语言的数据。要在这些数据行上测试自己的模型，可让 JevOss 连接任何支持 Jev API 的服务器。

```
from datasets import load_dataset

test = load_dataset("mertkayacs/jevalt-bench", "en", split="test")
print(test[0])
```

## 引用

```
@techreport{kaya2026jevaltreport,
  author = {Kaya, Mert},
  title = {JevAlt: Technical report},
  institution = {Eschatia Labs},
  year = {2026},
  url = {https://eschatialabs.com/research/jevalt-report/},
  note = {Technical report, not peer-reviewed}
}
```

## 链接

- [数据集（Hugging Face）](https://huggingface.co/datasets/mertkayacs/jevalt-bench)
- [代码（GitHub）](https://github.com/mertkayacs/jevalt)
- [项目网站](https://jevalt.mertkayacs.com/)
- [技术报告](https://eschatialabs.com/zh/research/jevalt-report/)