Matematikai áttöréssel gyorsít a Subquadratic a nagy nyelvi modelleken
A Subquadratic nevű startup azt állítja, hogy egy matematikai áttöréssel drasztikusan csökkentette a transformer-alapú AI-modellek válaszadásához szükséges számítások mennyiségét.
Egy startup, a Subquadratic, tavaly robbant be a köztudatba egy merész állítással: megoldották azt a matematikai szűk keresztmetszetet, amely közel egy évtizede hátráltatja a nagy nyelvi modellek (LLM) fejlődését. A bejelentés szerint az új módszer jelentősen csökkenti a transformer-architektúrák válaszadáshoz szükséges számítási műveleteinek számát. (MIT Technology Review)
A Subquadratic állítása szerint az eredmény egy gyorsabb, olcsóbb és lényegesen energiahatékonyabb LLM, amely felülmúlja a piacon elérhető többi modellt. Számos szakértő azonban szkeptikusan fogadta az információt, de a startup elkezdte megosztani azokat az adatokat, amelyek alátámaszthatják a számításaikat.
Kapcsolódó: Rotman csökkenése
A technológia működése
A transformer-alapú modellek, amelyek az LLM-ek gerincét alkotják, jelentős számítási kapacitást igényelnek a szöveggeneráláshoz és a válaszadáshoz. A Subquadratic által kidolgozott új megközelítés célja ezen számítási igény drasztikus csökkentése. Bár a pontos technikai részletek még nem teljesen ismertek, a startup által megosztott információk arra utalnak, hogy egy új matematikai megközelítést alkalmaznak a modell működésének optimalizálására.
Kapcsolódó: AI-ügynökök együttműködése
Szakértői szkepticizmus és a bizonyítékok
Annak ellenére, hogy a Subquadratic ígéretes eredményeket mutat be, a kutatói közösség egy része továbbra is szkeptikus. A korábbi évtizedekben számos hasonló áttörés ígérete nem váltotta be a hozzá fűzött reményeket, vagy nem volt függetlenül igazolható. A Subquadratic azonban elkezdett megosztani bizonyítékokat, amelyek alátámaszthatják az állításaikat, ám ezek hitelességét és a valós megtakarítás mértékét még független teszteknek kell megerősíteniük.
Kapcsolódó: AI-inferencia korlátai
Lehetséges ipari hatások
Ha a Subquadratic állításai helytállónak bizonyulnak, a jelentős hatással lehet az AI-ipar egészére. Az alacsonyabb számítási költségek és az energiahatékonyság növekedése lehetővé tenné az LLM-ek szélesebb körű elterjedését, akár kisebb cégek és kutatóintézetek számára is. Ez új lehetőségeket nyithatna meg a magyar AI ökoszisztéma számára is, elősegítve a hazai fejlesztések és alkalmazások bővülését. A független ellenőrzések eredményeit a Subquadratic honlapján tekinthetik meg.
Kapcsolódó: Anchor rendszer bemutatása