Új táblázatos AI-modell, a Causilo, a legmagasabb TabArena Elo-pontszámot érte el

A Nums AI bemutatta a Causilo-t, egy előre betanított táblázatos alapmodellt, amely képes osztályozási és regressziós feladatok elvégzésére. A modell scikit-learn interfészével, Apache-2.0 licencű kódjával és Hugging Face-en elérhető előre betanított súlyaival kutatási és értékelési célokra már ma is használható CUDA vagy CPU környezetben. (MarkTechPost)

A Causilo az in-context learning elvén működik: a `fit` metódus meghívásakor nem frissíti az előre betanított súlyokat, hanem a betanítási sorokat tárolja el kontextusként, és egyetlen előrehaladó (forward) passzban jósolja meg a lekérdezési sorokat. A TabArena benyújtás szerint a Nums AI kizárólag szintetikus adatokon, TabArena adatkészletek nélkül tanította be a Causilo-t. A modell képes kezelni kategorikus jellemzőket és hiányzó értékeket is, osztályozás esetén akár 10 osztályig, regresszió esetén pedig alapértelmezetten átlagos predikciókat ad.

Architektúra: finomhangolás, tömörítés és kontextus alapú tanulás

A Nums AI a modellt három fázisra bontja: finomhangolás (refinement), tömörítés (compression) és in-context learning. A kiadott kód és konfigurációk részletezik az egyes fázisok működését. A jellemzők hármas csoportokban kerülnek feldolgozásra, minden érték 16 tanult szinusz- és koszinuszfrekvenciával kerül beágyazásra. A hiányzó értékek saját tanult vektorral rendelkeznek.

Két oszlop-szakasz (column stage) összefoglalja az egyes jellemzőcsoportokat, ahol 128 latens slot (tanult pozíció) csak a betanítási sorokat olvassa, és minden sorhoz elküldi az összefoglalót. A két oszlop-szakasz között egy sor-szakasz (row stage) teszi lehetővé a jellemzőcsoportok interakcióját 4 latens tokenen keresztül.

Ezen felül a modell kereszt-figyelmet (cross-attention) használ teljes ön-figyelem (self-attention) helyett, ami a Nums AI szerint lineáris költséget tart fenn a jellemzők számához képest. Egy pooling blokk minden sort egy fix 512-dimenziós vektorrá tömörít.

A címkék a betanítási sorokhoz adódnak hozzá, majd egy 12 rétegű predikciós blokk lehetővé teszi a lekérdezési sorok számára, hogy a címkézett sorokra figyeljenek. A lekérdezési sorok nem változtathatják meg a betanítási kontextust vagy egymást. Alapértelmezetten 8 ensemble tag osztozik a súlyokon, amelyek különböző normalizálási módszereket és permutációkat használnak.

TabArena eredmények és sebességtesztek

A Nums AI a hivatalos TabArena folyamat-t használta az értékeléshez, amely 51 adatkészletet és 816 teljes felosztást (split) tartalmazott 8 becslővel (estimator) és a 42-es seed-del. Egy TabArena karbantartó megismételte az értékelést, és ugyanazt az 1794-es össz-Elo pontszámot kapta. A Causilo 1792.9-es össz-Elo pontszámával szorosan megelőzi a Google TabFM (1764.4) és az LG EXAONE Tabular (1758.8) modelleket. Az osztályozási feladatokon 1771.8-as, a regressziós feladatokon pedig 2032.6-os Elo-t ért el.

A rangsorban a Prior Labs TabPFN-3 (1636.2) is szerepel. Fontos megjegyezni, hogy a #1 helyezések nem tartalmazzák a rendszereket, amelyekkel együtt a Causilo a 88 indulóból a 3. helyre került. A regressziós feladatokon a Causilo vezet, míg az improvability (javíthatóság) mutatóban a TabFM. Az Elo konfidencia-intervallumok átfedése miatt a vezetés a TabFM és az EXAONE Tabular modellekkel szemben szűk. A Nums AI továbbá a Xiaomi-TabLDM és az Amazon Mitra-v2 modelleket is felsorolja a Causilo mögött.

A ScoringBench értékelésen a Causilo 101 adatkészleten, 5 folddal, 3000 mintára korlátozva 1. helyezést ért el CRPS, R² és RMSE mutatókban. Sebességteszteken egy H100 80 GB GPU-n a Causilo 2.504 másodperc alatt tanult 1000 soronként, és 0.251 másodperc alatt jósolt, miközben 8.15 GiB GPU memóriát használt. Ezzel a leggyorsabbnak bizonyult a fit és predict műveletekben is a tesztelt modellek közül, bár a TabPFN-3 lényegesen kevesebb memóriát igényel.

A Causilo kereskedelmi, gyártási vagy hosztolt API használatához külön licenc szükséges a Nums AI-tól. A kód Apache-2.0 licenc alatt érhető el, míg az előre betanított súlyok csak kutatási célokra használhatók külön licenc megvásárlása nélkül. A modell 3.10 és 3.12 közötti Python verziót, valamint PyTorch 2.13 vagy újabbat igényel. A telepítés után az első `fit` hívás automatikusan letölti a szükséges checkpoint-ot.