Un laboratorio indipendente di ricerca sull’intelligenza artificiale open source.
Creiamo piccoli modelli di intelligenza artificiale per compiti specifici, test aperti che ne misurano i risultati e strumenti che mostrano perché un modello ha preso una certa decisione. Pubblichiamo i modelli, i dati, il codice e gli articoli, insieme ai passaggi necessari per riprodurre ogni risultato.
8600 download di modelli e dataset su Hugging Face e 9000 su npm, al .
Modelli decisionali
Piccoli modelli che leggono la descrizione di una situazione, scelgono una delle risposte proposte e assegnano una probabilità a ciascuna risposta. Deem-4B lavora in inglese, Karar-4B in turco e Wähler-4B in tedesco.
Sulle domande escluse dall’addestramento, Deem-4B raggiunge il 94,7% di accuratezza, contro l’84,7% di Kev-4B, un modello decisionale aperto basato su Qwen3.5-4B. Karar-4B raggiunge il 96,8%, contro l’87,1% di Kev-4B, e Wähler-4B il 92,0%, contro l’81,1% di Kev-4B.
Tutti e tre sono stati addestrati a partire da Intern-Decision-4B: prima sulle tre lingue insieme, poi su ciascuna lingua separatamente.
- Deem-4B
Modello decisionale per l’inglese.
- Karar-4B
Modello decisionale per il turco.
- Wähler-4B
Modello decisionale per il tedesco.
Benchmark aperti
Test aperti per confrontare modelli di intelligenza artificiale. Ogni test pubblica i propri dati o il proprio codice.
- jevalt-bench
3.116 descrizioni di situazioni in inglese, turco e tedesco per valutare modelli che scelgono tra risposte predefinite e assegnano una probabilità a ciascuna.
1600 download su Hugging Face al 18 ottobre 2026.
- JevOss
Una suite di test aperta che verifica come le modifiche a una domanda influiscono su un modello che sceglie tra risposte predefinite.
- Tholos-Bench
160 attività in uno spazio di lavoro per valutare piccoli assistenti di intelligenza artificiale in base alla corrispondenza tra il lavoro svolto e la richiesta.
170 download su Hugging Face al 18 ottobre 2026.
Rilevamento spiegabile dei deepfake
I deepfake sono video in cui l’intelligenza artificiale ha alterato o sostituito un volto. Studiamo diversi modi per addestrare i rilevatori e usiamo mappe di calore Grad-CAM per mostrare quali parti del volto hanno determinato ogni decisione. Il punteggio AUC va da 0,5, il livello del puro caso, a 1, la separazione perfetta.
Su FaceForensics++, una raccolta pubblica di video con volti reali e alterati, il modello per immagini EfficientNet-B4 raggiunge un AUC di 0,897 quando viene addestrato con immagini variate e in parte oscurate, contro 0,868 senza queste immagini.
Articolo UBMK 2026Tesi magistrale
- xdfdet
Gli otto rilevatori addestrati per la tesi magistrale, con codice, mappe di calore e due giochi per il browser. L’articolo collegato è stato accettato a UBMK 2026.
Assistenti locali per attività
Tholos permette agli assistenti di intelligenza artificiale di svolgere compiti sul proprio computer, in uno spazio di lavoro condiviso con tabelle, note e una bacheca delle attività. Per ogni azione, le regole stabiliscono se eseguirla, attendere l’approvazione o bloccarla.
Sulla stessa scheda grafica, una Kaggle T4, Tholos-2B supera 137 dei 160 compiti di Tholos-Bench, contro 112 per MiniCPM5-2B, il modello da cui deriva. Sullo stesso normale processore (CPU), Tholos-2B ne supera 134, contro 117 per MiniCPM5-2B.
- Tholos
Tholos-2B è il piccolo modello usato dagli assistenti. Deriva da MiniCPM5-2B ed è stato addestrato su esecuzioni registrate di compiti completati.
- reevesagents
Esegue diversi assistenti di programmazione basati sull’intelligenza artificiale nello stesso terminale, mentre uno di loro coordina gli altri.
Conservazione linguistica
Eldalambë aiuta a leggere e scrivere le lingue elfiche inventate da Tolkien, Quenya e Sindarin, e la loro scrittura, Tengwar. Un piccolo modello linguistico controlla le proprie risposte con un dizionario e regole grammaticali. L’articolo è pubblico; codice, dati, file dei modelli e domande di test sono privati.
Nell’articolo, la versione adottata, Pro-Preserve, produce la frase attesa in 40 richieste di test su 100, contro 21 della versione precedente, Pro2508, e riconosce le parole di Tolkien in 277 casi su 300, contro 259 di Pro2508.
- Eldalambë
Traduzione controllata con un dizionario, formazione delle parole e scrittura Tengwar.
Metodo
Come il laboratorio addestra, valuta e pubblica i modelli.
Piccoli modelli per compiti specifici.
Ogni modello viene addestrato per un compito preciso e messo alla prova su quello stesso compito.
Test separati dall’addestramento.
Le domande di test vengono messe da parte prima dell’addestramento finale. Ogni confronto indica entrambi i modelli e il set di test.
Risultati riproducibili.
Pubblichiamo i risultati, gli errori noti e i dati, il codice o i file dei modelli necessari per ripeterli.
Esecuzione sul proprio computer.
I file JevAlt pubblicati funzionano sul processore di un portatile e richiedono circa 3 GB di memoria.
Pubblicazioni
Articoli e rapporti tecnici sui modelli pubblicati e sulle relative valutazioni.
-
Articolo UBMK 2026
Articolo accettato che confronta nove modi di addestrare un rilevatore di deepfake: quanto è accurato, quanto le probabilità dichiarate corrispondono ai risultati e su quali parti del volto si basa.
-
Preprint Eldalambë
Articolo pubblico su un piccolo modello linguistico per le lingue elfiche di Tolkien, che controlla le proprie risposte con un dizionario e regole grammaticali.
-
Rapporto tecnico JevAlt
Come sono stati addestrati e messi alla prova i tre modelli decisionali, con risultati, limiti e link per scaricarli.
Contatti
Scrivi a Mert Kaya, fondatore del laboratorio insieme a Betül Keleş Kaya.
mertkayacs@gmail.com