A Gimlet Labs 3-10-ször gyorsítja az AI inferenciát új szoftverével
A Stanfordhoz kapcsolódó Gimlet Labs az új „multi-silicon inference cloud” szoftverével 3-10-ször gyorsabbá tette az AI inferenciát, miközben 80 millió dolláros Series A befektetést kapott, és a csapata 30 főből áll, akik a legnagyobb modellekhez és adatközpontokhoz nyújtanak megoldást.
Gimlet Labs, a Stanford-affiliated startup, tette be az AI inferenciát 3-10-ször gyorsabbá azzal, hogy megalkotta az első „multi-silicon inference cloud” szoftvert. A cég 80 millió dolláros Series A finanszírozást kapott a Menlo Ventures vezetésével, és azóta a teljes tőkebefektetés 92 millió dollárra nőtt, többek között Sequoia és Intel CEO Tan támogatásával. A Gimlet Labs 30 főből álló csapata a legnagyobb AI modellekhez és adatközpontokhoz nyújtja megoldását, nem pedig a kis fejlesztőkhöz. (TechCrunch)
Az új szoftver képes egyetlen AI alkalmazás munkafolyamatát egyidejűleg elosztani CPU-k, AI-tuning GPU-k és nagy memóriás rendszerek között. Az ilyen „multi-silicon” megközelítés azt jelenti, hogy a legjobb chipet használhatják a modell egyes részein: a számításigényes inferenciához GPU, a memóriaigényes dekódoláshoz nagy memóriás szerver, a hálózati hívásokhoz pedig a leggyorsabb hálózati interfészek. A Gimlet Labs szerint ez a megoldás akár 10-szoros hatékonyságnövelést tesz lehetővé ugyanazon költség- és teljesítménykörnyezet mellett.
A cég már partnerségeket kötött NVIDIA, AMD, Intel, ARM, Cerebras és d-Matrix chipgyártókkal, és a terméket akár API-ként, akár saját Gimlet Cloud-on keresztül kínálja. Az első bemutató óta a vásárlói bázis több mint megduplázódott, és már egy nagy modellkészítő, valamint egy hatalmas felhőszolgáltató is a listán szerepel, bár a nevek nem kerültek nyilvánosságra.
Az AI inferencia szűk keresztmetszetét a Gimlet Labs célja, hogy a jelenleg 15–30 % –ban kihasznált hardvert teljesen kihasználják. A McKinsey 2030-es becslése szerint a datacenter kiadások 7 billió dollárra emelkednek, és a Gimlet megoldása szerint ez a potenciális lógó erőforrás-takarékosság hatalmas megtakarítást jelenthet.
A következő lépések között szerepel a termék további skálázása a legújabb chipekkel való együttműködésben, valamint a nagy AI laborok és adatközpontok számára történő bevezetésének felgyorsítása. A cég a következő évben tervez több új partnerkapcsolatot, miközben a meglévő ügyfelek számát tovább növeli.