Az NVIDIA Attribution nyílt forráskódú eszközzel azonosítja a GPU-hibákat

Az Attribution Service REST-API-t biztosít a központi attribúciós motorhoz, míg az Attribution Blueprint egy Python-alapú referencia-orchestrator, amely a Slurm, Kueue, Loki, PromQL és egyéb adatforrásokkal kapcsolódik – írja az NVIDIA Developer Blog.

Működési komponensek

Az eszköz a munkafolyamat-szintű naplókat, metrikákat, telemetriát és az ütemező állapotát egyesíti, majd egy strukturált jelentésben közli a végkimenetelt, a gyökérokozatot, az érintett csomópontokat, a támogató tüneteket és a bizonyíték-láncot.

Skálázhatóság és gyakorlati példák

Az NVIDIA AI-infrastruktúrában a rendszer – az NVIDIA szerint – több millió munkafolyamatot elemez hetente, több száz ezres GPU-készleten, és már azonosított gyártó-szintű hibamintákat, például NVLink-jelintegritási problémákat, amelyek downstream NCCL-hibákként jelentkeznek.

Egy bemutató esetben a Blueprint felismerte az NVLink-jelintegritási hibát egy csomóponton, miközben a többi rangon megjelenő NCCL-hibákat tünetként megtartotta, így a felhasználó egyértelműen láthatta a valódi okot.

A kódot a GitHubon lehet klónozni, a gyorsindítási útmutatóval azonnal futtatható a mintamunkafolyamat, a helyi irányítópulton pedig áttekinthető a diagnózis. A Blueprint konfigurációs referencia lehetővé teszi a saját ütemező és telemetria-backend csatlakoztatását.

A nyílt forráskódú NVIDIA Attribution már elérhető, a bejelentés szerint a letöltés és a telepítés azonnal megkezdhető.