一家独立的开源人工智能研究实验室。

我们为具体任务训练小型人工智能模型,制作衡量它们的开放测试,并开发能说明模型为何作出某项决定的工具。我们公开模型、数据、代码和论文,同时提供复现每项结果的步骤。

查看研究项目

截至 ,Hugging Face 上的模型和数据集共有 8,600 次下载,npm 上共有 9,000 次下载。

决策模型

这些小型模型会读取一段情况说明,从给定答案中选择一项,并为每个答案给出概率。Deem-4B 用于英语,Karar-4B 用于土耳其语,Wähler-4B 用于德语。

在未用于训练的测试问题上,Deem-4B 的准确率为 94.7%,基于 Qwen3.5-4B 的开放决策模型 Kev-4B 为 84.7%。Karar-4B 为 96.8%,Kev-4B 为 87.1%;Wähler-4B 为 92.0%,Kev-4B 为 81.1%。

三个模型都从 Intern-Decision-4B 训练而来:先同时训练三种语言,再分别训练每种语言。

技术报告

开放基准测试

用于比较人工智能模型的开放测试。每项测试都会公开其数据或代码。

  • jevalt-bench

    3,116 条英语、土耳其语和德语情境文本,用于测试从固定答案中作出选择并为每个答案给出概率的模型。

    截至 2026年10月18日,Hugging Face 下载量为 1,600 次。

  • JevOss

    一套开放测试,用于检查问题发生变化时,从固定答案中作出选择的模型会受到什么影响。

  • Tholos-Bench

    160 项工作区任务,用于测试小型人工智能助手,并根据完成的工作是否符合要求评分。

    截至 2026年10月18日,Hugging Face 下载量为 170 次。

全部基准测试

可解释的深度伪造检测

深度伪造是指人工智能改动或替换了人脸的视频。我们测试不同的检测器训练方法,并用 Grad-CAM 热力图显示每项决定依据了面部的哪些区域。AUC 分数衡量检测器区分真实和篡改人脸的能力,0.5 表示随机猜测,1 表示完全正确区分。

在真实与篡改人脸视频的公开数据集 FaceForensics++ 上,名为 EfficientNet-B4 的图像模型用多样化和局部涂黑的图像训练后,AUC 达到 0.897;不使用这些图像训练时,AUC 为 0.868。

UBMK 2026 论文硕士论文

本地任务助手

Tholos 让人工智能助手在你的电脑上执行任务。它们共用一个包含表格、笔记和任务板的工作区。明确规则决定每项操作是直接执行、等待批准,还是被拒绝。

在同一块显卡(Kaggle T4)上,Tholos-2B 通过了 160 个 Tholos-Bench 场景中的 137 个,它的基础模型 MiniCPM5-2B 通过了 112 个。在同一普通处理器(CPU)上,Tholos-2B 通过了 134 个,MiniCPM5-2B 通过了 117 个。

技术报告

语言保护

Eldalambë 帮助人们读写托尔金创作的精灵语 Quenya 和 Sindarin,以及它们使用的 Tengwar 文字。一个小型语言模型会根据词典和语法规则核对答案。论文公开;代码、数据、模型文件和测试题目为私有。

论文采用的 Pro-Preserve 版本在 100 个测试请求中有 40 次写出预期句子,较早的 Pro2508 版本有 21 次。Pro-Preserve 在 300 个案例中有 277 次识别出托尔金的词,Pro2508 有 259 次。

论文(预印本)

  • Eldalambë

    根据词典核对翻译,生成词汇并显示 Tengwar 文字。

研究方法

实验室如何训练、评测和发布模型。

出版物

介绍已发布模型和评测的论文与技术报告。

联系

请联系与 Betül Keleş Kaya 共同创立实验室的 Mert Kaya。

mertkayacs@gmail.com