Ismétlődően telepíthető futtató réteget kínál az NVIDIA AICR a Dynamo 1.4.2-hez

Az NVIDIA AI Cluster Runtime (AICR) a Dynamo 1.4.2 és a hozzá tartozó infrastruktúra validált recepteibe csomagolja a futtatási igényeket, mint a GPU-hajtó verem, a dinamikus erőforrás-allokáció, a gang scheduling, a csomópontok egészségi jelei és a Prometheus-metriák — írja az NVIDIA Developer Blog. (Nvidia Developer)

Az AICR öt lépésben választja szét a futtató környezet beállítását az alkalmazás telepítésétől: a klaszter pillanatfelvételének készítése, a Dynamo-inferencia-recept generálása, a telepítési csomag renderelése, a futtató réteg Helmfile vagy GitOps segítségével való telepítése, majd az installed runtime validációja az alkalmazási terhelések telepítése előtt.

A Dynamo 1.4.2 a kérések síkján TCP-t, a KV-cache eseményekre pedig ZMQ-t használ, lehetővé téve mind a natív Dynamo Frontend router, mind a Gateway API Inference Extension (GAIE) vagy végpont Picker Plugin (EPP) útvonalat a cache-tudatos útválasztási döntésekhez. A GAIE/EPP útvonal integrálódik a Kubernetes-native ingress kezelésbe a Gateway API erőforrásokon keresztül.

Az AICR receptek rögzített verziószámokkal, kompatibilitási korlátozásokkal és validációs ellenőrzésekkel biztosítják a telepítés ismétlődő módon történő végrehajthatóságát. A platform a fejlesztőknek egy konzisztense alapot kínál a modellek kiszolgálásához és az alkalmazások teszteléséhez.

Az NVIDIA az AICR-t a Dynamo és a TensorRT LLM mellett a DSX AI Factory Platform részeiként kínálja, hogy segítse az ökoszisztémát a hatékonyabb AI-gyárak tervezésében, építésében és üzemeltetésében.