AI-ügynökök automatizálják a 3D szimuláció előkészítését NVIDIA Omniverse-szel

Az NVIDIA új AI-munkafolyamata a 3D-jeleneteket automatikusan felkészíti robotikai szimulációra. A folyamat során szemantikai címkéket, szimuláció-specifikus anyagokat, szenzorokat és fizikai tulajdonságokat adnak hozzá a digitális ikrekhez, mielőtt azok az NVIDIA Isaac Sim vagy Isaac Lab platformokra kerülnek. (Nvidia Developer)

A munkafolyamatot a Codex, az OpenAI GPT-6 Astra modelljével működtetett AI-ügynök koordinálja. Ez az ügynök felügyeli a feladatokat, értelmezi az eredményeket és irányítja az iterációkat. Az NVIDIA NemoClaw segítségével speciális Hermes alügynökök futnak, amelyek olyan eszközöket használnak, mint az ovphysx a fizikai szimulációkhoz, az ovrtx a vizuális előnézeti rendereléshez, és a SimReady a célprofilok szerinti validáláshoz.

Az OpenUSD (Open Universal Scene Description) közös szerződéses rétegként funkcionál. Ez megőrzi a hierarchiát és a metaadatokat, lehetővé téve az ügynökök számára az iteratív címkézést, ütközési hálózatok, merevtest-tulajdonságok és szenzordefiníciók hozzáadását anélkül, hogy a kreatív munkát le kellene lapítani. A munkafolyamat egy Blender Model Context Protocol szerveren keresztül vizsgálja át a jelenetet, majd USD formátumban írja ki az adatokat.

A jelenlegi robotikai fejlesztések során a 3D-jelenetek szimulációra való előkészítése időigényes és munkaerőigényes folyamat. A fejlesztőknek gyakran manuálisan kell címkézniük az objektumokat, beállítaniuk az ütközési hálókat és a szenzorokat, valamint biztosítaniuk, hogy a jelenet hibátlanul exportálódjon USD formátumba. Az NVIDIA új megközelítése ezt a monoton munkát automatizálja, így a mérnökök a szimulációra kész világok hibakeresése helyett a robotok képességeire koncentrálhatnak.

A rendszer a feladatokat speciális alügynökök segítségével végzi el. Ezek az alügynökök az NVIDIA Omniverse Libraries eszközeit hívják, hogy módosítsák, rendereljék, validálják és előkészítsék a világot. A Codex vagy a Claude mint főügynök koordinálja a feladatot, míg az NVIDIA NemoClaw által üzemeltetett alügynökök végzik a speciális feladatokat. A folyamat végén a SimReady validáció biztosítja, hogy az eredmények megfeleljenek a szimuláció-specifikus követelményeknek, mielőtt a jelenet átadásra kerülne az NVIDIA Isaac Sim vagy Isaac Lab számára.