Gyorsabb RL-tanítást ígér az NVIDIA Dynamo a bevezetés-szűk keresztmetszetek csökkentésével
Az NVIDIA Dynamo routing, súlyelosztás és hibakezelés révén csökkentheti a megerősítéses tanítás (RL) lassító tényezőit, a közlés szerint több tanítási iteráció férhet bele ugyanabba a számítási keretbe.

A megerősítéses tanítás (RL) jutalmakkal tanítja a modelleket feladatok megoldására. A folyamat motorja az inferencia: a munkavégző egységek úgynevezett rolloutokat generálnak, vagyis modellkimenetek, műveletek és környezeti interakciók sorozatait. A keretrendszer ezeket pontozza, frissíti a súlyokat, majd visszaküldi őket a következő körhöz. Az NVIDIA Developer Blogja szerint a tanítás skálázásával a redundáns számítás, a lassú bevezetés-ok, a súlyfrissítések és a munkavégző egységek hibái egyre több GPU-kapacitást pazarolhatnak el és késleltethetik a tanítást.
Miért kell elosztott bevezetés-infrastruktúra
A bevezetés-ok munkaigénye erősen eltérő lehet: míg egy érvelési bevezetés egyetlen választ tartalmazhat, egy kódolóagent bevezetés-ja repository-feltárást, szerkesztést, eszközhívásokat és teszteket is magában foglalhat. A forrás három korlátot nevez meg. Először a bevezetés befejezési ideje: a leglassabb szükséges bevezetés késleltetheti a következő lépést, és az egyenletes kérésszám-elosztás nem jelent egyenletes munkaterhelést.
Másodszor az ismétlődő kontextus: több próbálkozás gyakran ugyanazzal az utasítással, feladatleírással vagy repository-kontextussal indul, amelynek újraszámítása új kimenet előtt köti le a GPU-kapacitást. Harmadszor a súlyok frissessége: a tanítás során folyamatosan új súlyok készülnek, és a munkavégző egységeknek ezeket az algoritmus mintavételezési és elavultsági követelményeinek megfelelően kell megkapniuk.
A Dynamo szerepe a tanítási hurokban
A Dynamo a bevezetés-koordináció és a munkavégző egységek között helyezkedik el. Az RL-keretrendszer küldi a generálási kéréseket, a Dynamo a jogosult kapacitásra irányítja őket, az inferenciamotor pedig futtatja a modellt.
A szerepek szétválasztottak: a keretrendszer felel az optimalizációért, a jutalmakért, a környezetekért, az ellenőrzőpontokért és a minták elfogadásáért; a Dynamo a routingért, a munkavégző egységek kezeléséért és a telemetriáért; a ModelExpress a súlyok és artifaktumok elosztásáért. A generálás és a súlyfrissítés külön úton halad, így a keretrendszer dönti el, mikor generálhatnak a munkavégző egységek és mely eredmények felelnek meg a tanításnak.
Routing, súlyelosztás és hibakezelés
A KV-tudatos routing a közös prompthoz tartozó kéréseket olyan munkavégző egységhez irányítja, amely már gyorsítótárazta az utasítást, így elkerülhető az ismételt feldolgozás. A Dynamo router ugyanakkor a gyorsítótár-újrafelhasználást a munkavégző egységek terhelésével egyensúlyozza, hogy ne alakuljon ki sorban állás.
A ModelExpress a már a klaszterben lévő súlyokat használja fel: a kompatibilis egységek egymástól másolhatják a súlyokat NIXL-en keresztül, a delta-súlyátvitel pedig csak a változásokat, tömörített formában küldi. A hibakezelés észleli a munkavégző egységek kiesését, a kéréseket egészséges kapacitásra tereli, a pótlásra kerülő egységek pedig ellenőrzőpont és delták betöltésével zárkózhatnak fel. A forrás szerint támogatott konfigurációkban a jogosult, folyamatban lévő kérések is átvihetők.
Integrációk és alkalmazás
A Dynamo nyílt forráskódú integrációkon keresztül kapcsolódik a meglévő RL-rendszerekhez, így a verl, a NeMo RL, a Slime és a prime-rl is. A cikk szerint a Microsoft AI a Dynamót posztképzési RL-bevezetés-következtetésre használta, a CoreWeave pedig a Dynamo és a ModelExpress kombinálásával a súlyfrissítéseket akár 15-szörösére gyorsította.
A cikk a hatékonyságnövekedést nem számszerűsíti általánosan: a nyereség attól függ, melyik korlát szorítja a konkrét munkaterhelést, és a szerzők saját állításai szerint a rögzített számítási keretbe több iteráció fér bele. A részletes dokumentáció az NVIDIA Dynamo RL-útmutatójában érhető el.