Francia startup ígér 30-szoros LLM-gyorsítást a meglévő GPU-kra

A francia Kog startup szoftveres optimalizálással akarja felgyorsítani az AI-modellek futtatását a meglévő adatközponti GPU-kon. Gaël Delalleau vezérigazgató szerint a technológia akár 30-szoros sebességnövekedést is elérhet az AMD MI300X és Nvidia H200 kártyákon. A cég 200 üzleti érdeklődőt vonzott be, és a szoftverfejlesztési, valamint játék- és alkalmazásgenerálási munkafolyamatokat célozza meg. (TechCrunch)

A Kog ígérete szerint a hagyományos GPU-kban jelentős, kihasználatlan kapacitás rejlik, amelyet szoftveres optimalizálással lehet felszabadítani. A cég bemutatóján a Laneformer 2B nevű, 2 milliárd paraméteres modell 3000 token/sec sebességet ért el. Delalleau szerint a módszer nagyobb, összetettebb LLM-ekre is skálázható, ellentmondva azokkal a szkeptikus véleményekkel, amelyek szerint a GPU-k alkalmatlanok az ilyen feladatokra.

A Kog megközelítése mély GPU-gyorsításra összpontosít, hasonlóan a Stanford Egyetem Hazy Research kutatócsoportjához. Delalleau, aki szilárdtestfizikát tanult az École Polytechnique-en és white-hat hacker múlttal rendelkezik, a fizika és a GPU-k mélyreható megértésére alapozza a fejlesztést. Ez a megközelítés azonban idő- és erőforrás-igényes: minden új GPU-típusra hetekig vagy hónapokig tartó kutatás és fejlesztés vár.

A startup 11 fős csapatával jelenleg korlátozott számú chipre tud koncentrálni. A Kog tervei szerint szeptemberre egy nagyobb modellnél is elérik a 10-szeres sebességet, ami segítheti a Series A finanszírozási kör lezárását. A cég már rendelkezik Scaleway támogatással, valamint a francia Bpifrance és a French Tech 2030 programok is mögötte állnak.