Bemutatta a Kolibri nyílt forráskódú AI-modelljét az Aleph Alpha

Az Aleph Alpha bemutatta a Kolibrit, egy nyílt forráskódú, 78 milliárd paraméteres nagy nyelvi modellt (LLM), amely német és angol nyelven működik. A modell 2026. október 3-án jelent meg Apache 2.0 licenc alatt, súlyai elérhetők Hugging Face-en. A Kolibrit Németországban és Finnországban található infrastruktúrán, mintegy 24 trillió tokenen tanították, ebből több mint egyötöd német volt. (Hacker News)

A Kolibri lényeges újítása, hogy bár 78,1 milliárd paraméterrel rendelkezik, tokenenként mindössze 3,46 milliárd paramétert használ, ami körülbelül 4%-os aktivitást jelent. Ez a „kevert szakértők” (Mixture of Experts, MoE) architektúrának köszönhető, ahol minden réteg 384 szakértőből áll, és a router minden tokenhez 6-ot választ ki. Ezáltal a modell számítási szempontból egy 3,5 milliárd paraméteres modellként működik, de memóriában egy 78 milliárdos modell méretét igényli. A modell 4 szintű érvelési képességgel rendelkezik, és támogatja az eszközhasználatot (tool calling).

A Kolibri natív kontextusablaka 262 144 token, tesztelték akár 1 048 576 tokenig. A modell tokenizerét UniBPE algoritmusra építették, amely hatékonyabban dolgozza fel a hosszú német szavakat, mint a GPT-5 tokenizer-e, 11,2%-kal kevesebb tokent igényelve német szövegek esetén. A modell 50 rétegéből 40 csúszóablakos figyelmet (sliding-window attention) használ, ami 512 tokenre korlátozza az egyes tokenek figyelmét, így téve lehetővé a nagy kontextus ablak kezelését.

Az Aleph Alpha „szuverén” modellként pozicionálja a Kolibrit, ami azt jelenti, hogy európai jogszabályok (köztük az EU AI Act) betartásával fejlesztették, európai infrastruktúrán, európai törvények alatt, külföldi ellenőrzés nélkül. Ez lehetővé teszi a helyszíni telepítést (on-prem telepítés) és az adatok teljes biztonságát, így a vállalatok és kormányzati szervek saját szerverein futtathatják anélkül, hogy adataik elhagynák az épületet. Az Aleph Alpha az Európai Unió Általános Célú AI (GPAI) Magatartási Kódexét is aláírta.

A modell képzési adatai között szerepel angol webes szöveg, amelyet a Google Gemma 4-gyel, német nyelvű szöveg pedig a Mistral-NeMo-val dolgoztak át. A minőségbiztosítási szűrők Qwen3-32B címkézett adatokat használtak. A képzési adatokban található politikai elfogultságot kínai nyílt modellek segítségével mérték és szűrték.

A Kolibri 78 GB FP8 súlytárolóval rendelkezik, és a tudás határidő dátuma 2026. június 18. Az Aleph Alpha saját értékelése szerint a Kolibri felülmúlja minden összehasonlítható méretű modell teljesítményét mindkét nyelven. A modell súlyai az Apache 2.0 licenc alatt érhetők el, míg az Aleph Alpha megtartja a képzési kód és módszerek jogait.