Az AI-költségek helyett a sebességet veszik figyelembe a cégek
A vállalatok 66%-a futtat már éles AI-feladatokat, de a költségeket alig követik. A sebesség és a GPU-elérhetőség fontosabbá vált a beszerzési döntéseknél, mint a teljes tulajdonosi költség.
A vállalati AI-infrastruktúra éles üzembe helyezése felgyorsult: a cégek kétharmada futtat már AI-feladatokat, és 29%-uk nagy léptékben. Azonban a költségek nyomon követése nem tart lépést a fejlődéssel. A teljes tulajdonosi költség (TCO) hátrébb szorult a beszerzési döntéseknél, előtérbe került a teljesítmény és a GPU-k elérhetősége.
A VentureBeat Pulse Research kutatása 170 vállalat bevonásával vizsgálta az AI-infrastruktúra és a számítási kapacitások helyzetét. Csupán 4% nem indított még AI-feladatokat. Az átlagos vállalat három infrastruktúraplatformot használ, melyek között az OpenAI (49%), a Google Gemini (48%), a Microsoft Azure (47%) és a Google Cloud (42%) szerepel a leggyakrabban. Elsődleges platformként az Azure vezet 26%-kal.
A sebesség és az elérhetőség lett a prioritás
A döntéshozatalban az integráció a meglévő felhő- és adatstackkal továbbra is vezető tényező (40%), de a teljesítmény – a késleltetés és az átviteli sebesség – 35%-kal a második helyre lépett. A GPU-k elérhetősége 24%-kal a harmadik, mindkettő megelőzi a teljes tulajdonosi költséget (22%). Hasonló a helyzet a mérési szempontoknál is: az üzemidő és a megbízhatóság 51%-kal a legfontosabb sikermutató, a fejlesztői termelékenység 39%-kal követi, míg a költség egymillió tokenenként csupán 31%-ot ér el.
A GPU-k kihasználtsága alacsony
Azoknál a vállalatoknál, amelyek saját GPU-kat üzemeltetnek (155 vállalat), 69% számol be 50% vagy annál alacsonyabb kihasználtságról, és csak 23% haladja meg ezt az arányt. 12% egyáltalán nem méri a kihasználtságot. Kevesebb mint a fele (47%) követi szigorúan az AI-számítási költségeket és megtérülést, még azoknál a vállalatoknál is, amelyek nagy léptékben futtatnak AI-t, ez az arány csak 56%. Az érték-ár arány elégedettségi pontszáma 3,87, míg az általános elégedettség 4,14.
Specializált felhők és új szolgáltatók
Az AI-specifikus felhők a legnépszerűbbek a tervezett értékelési területek között (44%), erős lendülettel (+36). Azonban a CoreWeave és a Lambda jelenlegi használata mindössze 3,5%-ot tesz ki, míg a többi új felhőszolgáltató 3% alatt marad. A nem Nvidia gyorsítókat 39% fontolgatja, és 62% tervezi, hogy 12 hónapon belül új szolgáltatóra vált, vagy egy másikat is igénybe vesz.
A felmérésben 170, több mint 100 alkalmazottal rendelkező vállalat vett részt, többségük (57%) 1000 feletti alkalmazottal. A válaszadók 39%-a döntéshozó, 43%-az ajánló vagy befolyásoló. A technológiai és szoftveripar 35%-kal, a gyártás 14%-kal, a pénzügyi szolgáltatások 12%-kal, az egészségügy pedig 9%-kal képviselteti magát. A kutatást a VentureBeat Pulse Research végezte.