Az IBM 240 millió dollárt költ a nyílt forráskódú AI-inferenciára

Az IBM többéves megállapodást kötött a Together AI startup céggel, amelynek keretében Nvidia Blackwell rendszerek települnek az IBM Cloudra. A megállapodás keretében a klaszter Nvidia HGX B300 rendszereken fog futni, amelyek az Nvidia Blackwell architektúrájára épülnek, és az Nvidia Spectrum-X Ethernet hálózatával egészülnek ki. (TNW)

A Together AI platformja és kapacitása

A San Franciscó-i székhelyű Together AI-val kötött megállapodás egy nagyméretű AI-inferenciás klaszter létrehozását célozza meg az IBM Cloudon. A júliusban becsült 8,3 milliárd dolláros értékelésű cég platformja lehetővé teszi a vállalatok számára, hogy nyílt forráskódú modelleket, köztük a DeepSeek, MiniMax és Kimi modelleket futtassanak. Becslések szerint a platform havonta körülbelül 400 billió tokent szolgál ki, ami érzékelteti, mennyi inferencia zajlik ezeken a csatornákon, és miért szeretne egy hagyományos szolgáltató, mint az IBM, részesedni ebből a forgalomból a saját felhőjén.

Az inferencia piaci dinamikája

Az inferencia, vagyis a modell betanítása utáni lekérdezések megválaszolásának folyamata, csendben az egyik legnagyobb hajtóerővé vált a számítási kapacitás iránti keresletben. A Nebius nemrég 643 millió dollárt fizetett egy 20 fős inferenciaoptimalizálási csapat felvásárlásáért. Ez az ár csak akkor értelmes, ha hiszünk abban, hogy a költségek tokenenkénti csökkentése jelenti a jelenlegi árrést.

A történet másik fele a vállalatok lassú elmozdulása a nyílt forráskód felé. A vállalkozások csökkenteni szeretnék az AI-ra fordított kiadásaikat, és a nyílt modellek valódi vonzerőre tesznek szert a nagy szervezetekben.

Emellett biztonsági szempontok is szerepet játszanak: az Anthropic, az OpenAI és a Meta zárt modelljeivel kapcsolatos kibervédelmi aggályok okot adnak arra, hogy egyes cégek inkább olyan megoldásokat futtatnának, amelyeket maguk ellenőrizhetnek és üzemeltethetnek. Egy bank vagy kórház számára az érzékeny adatok saját infrastruktúrán tartásának képessége gyakran a legfontosabb szempont.

Az IBM számára az olcsó, nyílt forráskódú inferencia üzemeltetése egy olyan küzdelem, amelyet talán meg is nyerhet. A vállalat soha nem tudta volna felvenni a versenyt az Amazon, a Microsoft vagy a Google felhőméretével, így az IBM Cloud pozicionálása az olcsó nyílt modellek futtatására lehetővé teszi, hogy gazdasági alapon versenyezzen, ne pedig méret alapján.

Ez jól illeszkedik az európai igényekhez is, amelyek olyan infrastruktúrát részesítenek előnyben, amely nem kötődik egyetlen amerikai óriáshoz. Ez az igény másutt is megmutatkozik: a TensorX például 8 millió eurót gyűjtött, hogy európai szinten építsen ki szuverén AI-inferenciát Nvidia Blackwell alapon.