Un laboratorio independiente de investigación en inteligencia artificial de código abierto.
Creamos modelos pequeños de inteligencia artificial para tareas concretas, pruebas comparativas abiertas que miden su desempeño y herramientas que muestran por qué un modelo tomó una decisión. Publicamos los modelos, los datos, el código y los artículos, junto con los pasos para reproducir cada resultado.
8600 descargas de modelos y conjuntos de datos en Hugging Face y 9000 en npm, al .
Modelos de decisión
Modelos pequeños que leen una situación, eligen una de las respuestas disponibles y asignan una probabilidad a cada respuesta. Deem-4B trabaja en inglés, Karar-4B en turco y Wähler-4B en alemán.
En preguntas de prueba que no se usaron para entrenar, Deem-4B alcanza un 94,7% de exactitud, frente al 84,7% de Kev-4B, un modelo de decisión abierto basado en Qwen3.5-4B. Karar-4B alcanza un 96,8%, frente al 87,1% de Kev-4B, y Wähler-4B un 92,0%, frente al 81,1% de Kev-4B.
Los tres se entrenaron a partir de Intern-Decision-4B: primero con los tres idiomas juntos y después con cada idioma por separado.
- Deem-4B
Modelo de decisión para inglés.
- Karar-4B
Modelo de decisión para turco.
- Wähler-4B
Modelo de decisión para alemán.
Pruebas comparativas abiertas
Pruebas abiertas para comparar modelos de inteligencia artificial. Cada prueba publica sus datos o su código.
- jevalt-bench
3116 situaciones escritas en inglés, turco y alemán para evaluar modelos que eligen entre respuestas predefinidas y asignan una probabilidad a cada una.
1600 descargas en Hugging Face al 18 de octubre de 2026.
- JevOss
Un conjunto abierto de pruebas que comprueba cómo afectan los cambios de una pregunta a un modelo que elige entre respuestas predefinidas.
- Tholos-Bench
160 tareas en un espacio de trabajo para evaluar asistentes de inteligencia artificial basados en modelos pequeños según si el trabajo terminado coincide con la solicitud.
170 descargas en Hugging Face al 18 de octubre de 2026.
Detección explicable de deepfakes
Los deepfakes son videos en los que la inteligencia artificial ha alterado o sustituido un rostro. Probamos distintas formas de entrenar detectores y usamos mapas de calor Grad-CAM para mostrar en qué partes del rostro se basó cada decisión. Los resultados se miden con AUC, desde 0,5, que equivale a adivinar, hasta 1, que indica una separación perfecta.
En FaceForensics++, una colección pública de videos con rostros reales y alterados, el modelo de imágenes EfficientNet-B4 alcanza 0,897 de AUC cuando se entrena con imágenes variadas y parcialmente cubiertas de negro, frente a 0,868 cuando se entrena sin ellas.
Artículo UBMK 2026Tesis de maestría
- xdfdet
Los ocho detectores entrenados para la tesis de maestría, con código, mapas de calor y dos juegos para el navegador. El artículo relacionado fue aceptado en UBMK 2026.
Asistentes locales para tareas
Tholos permite que asistentes de inteligencia artificial realicen tareas en tu computadora, dentro de un espacio compartido con tablas, notas y un tablero de tareas. Para cada acción, las reglas deciden si se ejecuta, espera tu aprobación o se bloquea.
Con la misma tarjeta gráfica, una Kaggle T4, Tholos-2B supera 137 de las 160 tareas de Tholos-Bench, frente a 112 de MiniCPM5-2B, el modelo del que parte. Con el mismo procesador común (CPU), Tholos-2B supera 134, frente a 117 de MiniCPM5-2B.
- Tholos
Tholos-2B es el modelo pequeño que usan los asistentes. Se entrenó a partir de MiniCPM5-2B con registros de tareas completadas.
- reevesagents
Ejecuta varios asistentes de programación basados en inteligencia artificial en una misma terminal, mientras uno coordina a los demás.
Conservación lingüística
Eldalambë ayuda a leer y escribir las lenguas élficas inventadas por Tolkien, Quenya y Sindarin, y su sistema de escritura, Tengwar. Un modelo de lenguaje pequeño comprueba sus respuestas con un diccionario y reglas gramaticales. El artículo es público; el código, los datos, los archivos de los modelos y las preguntas de prueba son privados.
En el artículo, la versión elegida, Pro-Preserve, escribe la frase esperada en 40 de 100 solicitudes de prueba, frente a 21 de la versión anterior, Pro2508. Pro-Preserve identifica palabras de Tolkien en 277 de 300 casos, frente a 259 de Pro2508.
- Eldalambë
Traducción comprobada con un diccionario, formación de palabras y escritura Tengwar.
Método
Cómo entrena, evalúa y publica sus modelos el laboratorio.
Modelos pequeños para tareas concretas.
Cada modelo se entrena para una tarea definida y se pone a prueba en esa tarea.
Pruebas separadas del entrenamiento.
Las preguntas de prueba se apartan antes del entrenamiento final. Cada comparación identifica los dos modelos y el conjunto de prueba.
Resultados reproducibles.
Publicamos los resultados, los fallos conocidos y los datos, el código o los archivos de los modelos necesarios para repetirlos.
Funciona en tu computadora.
Los archivos de JevAlt publicados funcionan en el procesador de una computadora portátil y requieren unos 3 GB de memoria.
Publicaciones
Artículos e informes técnicos sobre los modelos publicados y sus evaluaciones.
-
Artículo UBMK 2026
Artículo aceptado que compara nueve formas de entrenar un detector de deepfakes: su exactitud, el grado en que su confianza coincide con sus resultados y las partes del rostro en las que se basa.
-
Prepublicación de Eldalambë
Artículo público sobre un modelo de lenguaje pequeño para las lenguas élficas de Tolkien que comprueba sus respuestas con un diccionario y reglas gramaticales.
-
Informe técnico de JevAlt
Cómo se entrenaron y pusieron a prueba los tres modelos de decisión, con resultados, límites y enlaces de descarga.
Contacto
Escribe a Mert Kaya, fundador del laboratorio junto a Betül Keleş Kaya.
mertkayacs@gmail.com