Az AI2 új ütemezővel javítja a kutatási hatékonyságot

Az intézet több ezer NVIDIA H100, B200 és B300 GPU-t üzemeltet 88 és 1024 GPU közötti klaszterekben. Ezek a rendszerek az LLM és VLM képzéstől a robotika megerősítéses tanulásán át a tudományos ügynöki felhasználási esetekig terjedő nagy léptékű, elosztott AI-modellképzést szolgálják ki mintegy 150 belső kutató számára. A kereslet messze meghaladja a kínálatot; a pillanatnyi igények 2-3-szorosa a rendelkezésre álló kapacitásnak. (Hugging Face)

Problémák a korábbi prioritásrendszerben

A korábbi prioritásalapú rendszer olyan problémákat eredményezett, mint a GPU „foglalás”, ahol a felhasználók nem-működő munkaterheléseket parkoltattak, vagy a prioritásinfláció, ahol minden munkafolyamat HIGH prioritást kapott, elszívva a többi alacsonyabb prioritású munkát. A nem-megszakítható munkaterhelések miatt a mérnököknek sok időt kellett a karbantartási problémákkal küzdő gépeken futó feladatok leállításával tölteniük.

Az intézet a „közjavak tragédiája” jelenségét tapasztalta, ahol az egyéni optimalizáció globálisan nem optimális eredményt hozott. A korábbi megoldás, a dedikált GPU-monopóliumok kiosztása túl durva volt, mivel a kutatási szezonális jelleg miatt gyakran üresen maradtak GPU-k, miközben más csapatok kapacitásra vártak.

Költségvetésalapú ütemezés működése

Az új rendszer a GPU-idő allokációját helyezi előtérbe a fix ütemezés helyett. A kutatócsapatok nem GPU-kat, hanem GPU-időből származó költségvetést kapnak. Ez lehetővé teszi a vezetők számára, hogy stratégiai döntéseket hozzanak arról, mely kutatási projektek kapjanak erőforrásokat, hasonlóan a befektetési döntésekhez. A hierarchikus rendszerben a projektvezetők meghatározott százalékos részesedést biztosítanak kutatási projektjeiknek a teljes kapacitásból.

Minden GPU-időre irányuló kérésnek rendelkeznie kell költségvetéssel, különben nem védett a megszakítástól. A rendszer célja, hogy a rendszert kijátszó módszerek drágábbak legyenek, mint az erőforrásigényekről szóló becsületes vita. Az AI2 folyamatosan finomítja ezt a költségvetés-felülvizsgálati folyamatot, biztosítva a kutatók számára a rendszeres lehetőséget az igényeik képviseletére, a döntéseket pedig a kontextussal rendelkező vezetők hozzák meg.