CPU-k új erőre kapnak az ügynök-AI miatt — az AWS is spórol a számítási kapacitással

Az AI-boom elsősorban a GPU-k és a memória iránti keresletet növelte, mivel a CPU-k párhuzamosítási képességeinek hiánya miatt kevésbé voltak alkalmasak az AI-modellek futtatására. Azonban az ügynök-AI rendszerek, amelyek lehetővé teszik az AI-modellek autonóm működését és al-ügynökök hívását, megváltoztatják a helyzetet. Matt Kimball, a Moor Insights & Strategy elemzője szerint jelentős CPU-kereslet-növekedést tapasztalni, nagyrészt az ügynök-AI miatt. (IEEE Spectrum AI)

„Egy ügynök 100 al-ügynököt indíthat, ami az egész vállalaton áttekintve több tízezret, százezret vagy akár milliókat is jelenthet” — mondja Kimball. Az ügynökök al-ügynököket indítanak, API-hívásokat tesznek, és kommunikálnak egymással, amihez számítógépekre és így CPU-kra van szükség.

A CPU-k szerepe az ügynök-AI-ban

Az AI-ügynökök „eszközhasználata” — azaz az internet elérése, fájlok megnyitása vagy szoftverek használata — jellemzően a CPU-ra tolódik, még akkor is, ha az LLM-inferencia GPU-n fut. Souvik Kundu, az Intel kutatója szerint „az ügynök-AI feladatainak számos komponense alapvetően CPU-alapú feladat”. A CPU kezeli a kimenet feldolgozását, a megfelelő eszköz kiválasztását, az API-hívást, az eredmények összegyűjtését és visszajuttatását.

Madhu Rangarajan, az AMD képviselője szerint „valósághű ügynök-AI folyamatok nyolc szakaszából hét kizárólag a CPU-n fut”. Például egy szoftverprogramozásra képes LLM-nek fájlokba kell írnia, fájlokat áthelyeznie, csomagokat letöltenie és a szoftvert összeállítania, ami mind CPU-intenzív feladat.

Optimalizálási lehetőségek és kihívások

Kundu és kollégái által végzett kutatás kimutatta, hogy a CPU gyakran tétlen, miközben a GPU az LLM-inferenciát futtatja, és fordítva. Javasolt optimalizálási technikáik akár 1,8-szeresére is csökkenthetik a végpontok közötti késleltetést. Azonban az ügynök-rendszerek gépi sebességen generálnak munkát, és ezt szaporítják. Az OpenAI egy korábbi incidense során egy modell óránként akár 300 akciót is végrehajtott, és egyetlen ügynök saját al-ügynököket indíthat.

A biztonsági korlátok további CPU-terhelést jelenthetnek. Ezek a rendszerek gyakran kis modelleket (milliárd alatti paraméterrel) használnak a feladat komplexitásának vagy szándékának elemzésére, ami bár futhatna GPU-n, a kis méret és az alacsony késleltetés iránti igény miatt gyakran a CPU-n marad.

Tokenizáció és a CPU-magok szerepe

Euijun Chung, a Georgia Institute of Technology kutatója szerint, ha egy szervernek kevés CPU-magja van, lemarad a GPU-k munkájának kiosztásában, ami a GPU-k várakozásához vezet. A tokenizáció, a szöveg számsorozattá alakítása, szintén CPU-igényes feladat, különösen az ügynök-AI esetében, ahol minden egyes eszközhasználat után újra kell tokenizálni az eredményeket. Chung szerint a CPU-magok számának növelése akár 1,5-szeresére vagy 7-szeresére is csökkentheti az első tokenig tartó késleltetést hosszabb szekvenciák esetén.

A növekvő CPU-igényt jelzi, hogy az Intel szerver CPU-k készletei az év végéig elfogytak, az AMD pedig megduplázta szerver CPU-kra vonatkozó előrejelzését. Az Arm, a Qualcomm és az Nvidia is új, ügynök-AI gyorsítására tervezett CPU-kat jelentett be, ami megerősíti, hogy a CPU-k kulcsfontosságú részévé váltak az AI-rendszereknek.