AI-kódasszisztens önálló futtatása – NVIDIA NeMo Guardrails új lehetőségeket nyit

Az NVIDIA új útmutatót adott ki arról, hogyan lehet saját infrastruktúrán futtatni egy AI-kódolási asszisztenst, amely megoldja az adatvédelmi, csomag-hallucinációk és nyomon követhetőség problémáit. A StarCoder2-7B NIM használatával, NVIDIA NeMo Guardrails, egy CI-ellenőrző kapu és metrikák (Prometheus/Grafana) integrálásával a csapatok betartathatják a szabályokat, kiszűrhetik a modell-specifikus kockázatokat, és mérhetik az AI-segített változtatások hatását. (Nvidia Developer)

A fejlesztőknek szükségük van egy NGC API kulcsra, egy legalább 24 GB memóriával rendelkező NVIDIA GPU-ra (például A10, L4, L40S vagy A100), Dockerre az NVIDIA Container Toolkitkel, Python 3.10+-ra és egy kipróbálható Git repóra. A StarCoder2-7B BF16-ban fut, míg az NVIDIA H100 és H200 GPU-k a legmagasabb átviteli sebességet kínálják, de nem szükségesek a teszteléshez.

Architektúra és telepítés

A rendszer architektúrája három rétegből áll: az IDE-ből érkező kéréseket egy NeMo Guardrails proxy dolgozza fel, amely a StarCoder2 NIM előtt helyezkedik el. A kódváltozások egy CI-ellenőrző kapun keresztül jutnak el a felülvizsgálóhoz, majd a lekéréses folyamat egy Prometheus és Grafana metrikakörbe táplálkozik, amely visszacsatol a NeMo Guardrails szabályzatának szigorításához.

A StarCoder2-t NVIDIA NIM-ként kell telepíteni, amely egy OpenAI-kompatibilis végpontot biztosít konténerként. A kód nem hagyja el a hálózatot, és a végpont rögzíthető, ellenőrizhető és promótálható a belső katalógusban. A pilótaüzemhez egyetlen GPU-s gazdagépen futtatható, szélesebb körű bevezetéshez pedig belső service mesh vagy terheléselosztó mögé kell helyezni.

Biztonság és integráció

Az NVIDIA NeMo Guardrails a StarCoder2 NIM elé helyezve validációt biztosít. A Guardrails megtagadhatja a kéréseket, ha azok sértenek egy írott szabályzatot, például nem generálhatnak hitelesítési, fizetési vagy kriptográfiai kódot. Ez a funkció a felhasználó által definiált AI-használati szabályzatokhoz igazodik.

A rendszer a fejlesztői IDE-kkel integrálható egyéni OpenAI-kompatibilis bázis URL-eken keresztül, mint például a Continue vagy a Cursor. Ez lehetővé teszi a különböző asszisztensek összehasonlítását anélkül, hogy a modellkiszolgálást, a szabályzatokat, a CI-t vagy a metrikákat módosítani kellene.

A StarCoder2-7B NIM futtatásához a `docker run` parancs használható, amely a GPU-kat, a megosztott memóriát és a NGC API kulcsot is figyelembe veszi. A végpont ellenőrizhető `curl` paranccsal.