Az Nvidia Vera CPU megduplázza a Modal AI-sandboxok teljesítményét

A Modal a múlt héten kapta meg az első Vera szerverét a San Franciscó-i irodájába. A cég AI-ügynökök számára fejlesztett sandboxai, ahol a kód futtatása történik, évi 300 millió dolláros bevételt generálnak. A Modal nemrég 750 millió dolláros, 15,75 milliárd dolláros értékelésű befektetési kört zárt. (TNW)

Vera CPU és a Modal sandboxok

Az Nvidia Arm-alapú Vera CPU-ja megduplázza a Modal AI-sandboxok teljesítményét a cég saját tesztjei alapján. Ez a lépés a Modal első jelentős elmozdulása az Intel és AMD által gyártott x86 chipektől. Az új architektúra miatt a Modalnak módosítania kell infrastruktúráját és szoftverképeinek felépítését.

A sandboxok munkaterhelése kiszámíthatatlan: egy AI-ügynök tétlenül várakozhat egy modellre, majd hirtelen tízszeres számítási kapacitást igényelhet egy szoftvertelepítés során. Több száz ilyen ügynök futhat párhuzamosan szerverenként, így egy felhasználó terhelésnövekedése lassíthatja mások munkáját.

Teljesítménytesztek és technikai háttér

A Modal 50 kódolási feladatból álló teljesítménytesztet hozott létre a Vera tesztelésére, beleértve szoftverfordítást és fájlkeresést. Az egyes feladatoknál a Vera gyakran gyorsabbnak bizonyult az Intel, AMD és Amazon chipjeinél, de nem mindig és nem jelentős mértékben. A különbség akkor nőtt meg, amikor a Modal megtöltötte a szervert konténerekkel: a Vera tartotta a sebességet, míg a riválisok elérték a teljesítményhatárukat.

A Modal szerint a Vera magas memória-sávszélessége a kulcs a teljesítménybeli előnyhöz, ami különösen a háttérkódot futtató ügynököknél és a megerősítéses tanulásnál (reinforcement learning) fontos. Az Nvidia márciusban mutatta be a 88 magos Vera CPU-t, kifejezetten AI-ügynökök számára, első felhasználói között említve az Anthropicot és az OpenAI-t. A Perplexity is jelezte, hogy ügynökmunkára fogja használni a chipet.

A Modal nem közölte, mikor válnak elérhetővé az ügyfelek számára a Vera CPU-val működő sandboxok.