一家独立的开源人工智能研究实验室。
我们为具体任务训练小型人工智能模型,制作衡量它们的开放测试,并开发能说明模型为何作出某项决定的工具。我们公开模型、数据、代码和论文,同时提供复现每项结果的步骤。
在未用于训练的测试问题上,Deem-4B 的准确率为 94.7%,基于 Qwen3.5-4B 的开放决策模型 Kev-4B 为 84.7%。Karar-4B 为 96.8%,Kev-4B 为 87.1%;Wähler-4B 为 92.0%,Kev-4B 为 81.1%。
三个模型都从 Intern-Decision-4B 训练而来:先同时训练三种语言,再分别训练每种语言。
开放基准测试
用于比较人工智能模型的开放测试。每项测试都会公开其数据或代码。
- jevalt-bench
3,116 条英语、土耳其语和德语情境文本,用于测试从固定答案中作出选择并为每个答案给出概率的模型。
截至 2026年10月18日,Hugging Face 下载量为 1,600 次。
- JevOss
一套开放测试,用于检查问题发生变化时,从固定答案中作出选择的模型会受到什么影响。
- Tholos-Bench
160 项工作区任务,用于测试小型人工智能助手,并根据完成的工作是否符合要求评分。
截至 2026年10月18日,Hugging Face 下载量为 170 次。
可解释的深度伪造检测
深度伪造是指人工智能改动或替换了人脸的视频。我们测试不同的检测器训练方法,并用 Grad-CAM 热力图显示每项决定依据了面部的哪些区域。AUC 分数衡量检测器区分真实和篡改人脸的能力,0.5 表示随机猜测,1 表示完全正确区分。
在真实与篡改人脸视频的公开数据集 FaceForensics++ 上,名为 EfficientNet-B4 的图像模型用多样化和局部涂黑的图像训练后,AUC 达到 0.897;不使用这些图像训练时,AUC 为 0.868。
- xdfdet
硕士论文训练的八个检测器,附代码、热力图和两款浏览器游戏。相关论文已被 UBMK 2026 录用。
在同一块显卡(Kaggle T4)上,Tholos-2B 通过了 160 个 Tholos-Bench 场景中的 137 个,它的基础模型 MiniCPM5-2B 通过了 112 个。在同一普通处理器(CPU)上,Tholos-2B 通过了 134 个,MiniCPM5-2B 通过了 117 个。
- Tholos
Tholos-2B 是助手使用的小型模型。它以 MiniCPM5-2B 为基础,用已完成任务的执行记录训练而成。
- reevesagents
在同一个终端中并排运行多个人工智能编程助手,由其中一个协调其他助手。
语言保护
Eldalambë 帮助人们读写托尔金创作的精灵语 Quenya 和 Sindarin,以及它们使用的 Tengwar 文字。一个小型语言模型会根据词典和语法规则核对答案。论文公开;代码、数据、模型文件和测试题目为私有。
研究方法
实验室如何训练、评测和发布模型。
面向具体任务的小型模型。
每个模型都针对一项明确任务训练,并在这项任务上测试。
与训练分开的测试。
最终训练前先留出测试问题。每项比较都写明两个模型的名称和所用的测试集。
可复现的结果。
我们公开结果、已知失效情况,以及重复实验所需的数据、代码或模型文件。
可在自己的电脑上运行。
发布的 JevAlt 文件可在笔记本电脑处理器上运行,约需 3 GB 内存。
出版物
介绍已发布模型和评测的论文与技术报告。
-
UBMK 2026 论文
这篇已录用的论文比较了九种深度伪造检测器训练方法:检测有多准,模型的置信度与结果有多吻合,以及模型依据了哪些面部区域。
-
Eldalambë 预印本
这篇公开论文介绍了一个面向托尔金精灵语的小型语言模型,它会根据词典和语法规则核对答案。
-
JevAlt 技术报告
介绍三个决策模型的训练和测试方法,并提供结果、局限和下载链接。
联系
请联系与 Betül Keleş Kaya 共同创立实验室的 Mert Kaya。
mertkayacs@gmail.com