Új NVIDIA-eszköz segíti a robotautók érzékelésének skálázását

Az NVIDIA Omniverse NuRec eszköze valós vezetési jeleneteket rekonstruál 3D Gaussian splattinggel, és új kamerafolyamokat renderel céljármű-konfigurációkhoz. A Physical AI NuRec adathalmaz több mint 1500, neurálisan rekonstruált jelenetet tartalmaz, mindegyik körülbelül 20 másodperc hosszú és hat kamera nézetből rögzítették. A fejlesztők párosíthatnak egy rekonstruált jelenetet egy cél-riggel, renderelhetik a cél nézeteket, finomíthatják a képkockákat az NVIDIA Harmonizerrel, és az így kapott szimulált kimeneten betaníthatnak egy érzékelőmodellt. (Nvidia Developer)

Egy belső, automatizált járműfejlesztési program relatív javulást mért az objektumfelismerés pontosságában és visszahívásában, amikor egy új autómodellhez NuRec-renderelt szimulált adatokkal tanítottak be egy modellt, összehasonlítva egy nulla-lövéses alapvonallal. A munkafolyamatot a NVIDIA/nurec-skills GitHub-tárában csomagolták, és az NVIDIA Nemotron hajtja. A fejlesztők letölthetnek egy USDZ jelenetet és a hozzá tartozó cél-riget a Physical AI NuRec Datasetből, hogy elkezdjék egy rekonstruált jelenet adaptálását.

A Perception Stack, vagyis az érzékelőrendszer, amelyet egy jármű hordoz, alapvetően meghatározza annak működését. Ugyanazt a szoftvert egy új autómodellbe, például egy SUV-ból egy szedánba vagy egy másik járműváltozatba helyezve megváltozik a világról alkotott képe. Az érzékelők elhelyezése, kalibrálása, látómezejük, az elfedések, a karosszéria geometriája, az időzítés és a lefedettség mind módosulnak. Egy forgalmi lámpa eltérő helyen jelenhet meg a képkockában, egy járdaszegély nehezebben láthatóvá válhat, vagy egy gyalogos a lefedettség szélénél kétértelművé válhat.

Az autonóm járművek fejlesztése során, ahogy az érzékelőrendszer bővül új autómodellekkel és azok változataival, a fejlesztőknek figyelembe kell venniük ezeket a különbségeket, még akkor is, ha az alapvető érzékelőrendszer változatlan marad. Minden egyes autómodellhez új valós adatkészlet gyűjtése és címkézése költséges, és nem mindig lehetséges a járműfejlesztés korai szakaszában.

Az új járműflották még nem állnak rendelkezésre, és a ritka körülmények sem mindig rögzíthetők. Bár a valós vezetési adatok továbbra is elengedhetetlenek a rendszer teljesítményének megalapozásához és érvényesítéséhez, a szimulált adatok segíthetnek a csapatoknak a modellek adaptálásában, mielőtt egy teljes, céljárműre szabott adatkészlet rendelkezésre állna.

A NuRec 3D Gaussian splatting technikát használ a valós környezetek szenzoradatokból történő rekonstruálására, majd ezeket rendereli szimulációhoz. A járműadaptáció során a NuRec rekonstruál egy meglévő jármű által rögzített valós vezetést, és új kamerafolyamokat renderel a céljármű nézőpontjából.

Két NuRec képesség különösen hasznos a járműadaptációhoz: az új nézetek szintézise, amely lehetővé teszi a felhasználók számára a kamera extrinzik, intrinzik, látómező és lencse modelljének megváltoztatását, valamint az újrafelhasználható jelenetadatok és annotációk, amelyek lehetővé teszik a címkék, például objektumok, sávok, forgalmi lámpák és úthatárok igazítását vagy adaptálását az újonnan renderelt nézetekben.

A Physical AI NuRec adathalmaz a Hugging Face-en több mint 1500 neurálisan rekonstruált vezetési jelenetet tartalmaz. Minden jelenet körülbelül 20 másodperc hosszú, és hat kamera nézetből rekonstruálták: egy 120 fokos elülső széles nézet, egy 30 fokos elülső teleobjektív nézet, 120 fokos bal és jobb oldali nézetek, valamint 70 fokos hátsó bal és hátsó jobb nézetek.

A NuRec adathalmaz hozzáférés-védett; a licenc elfogadása és egy Hugging Face token hitelesítés után tölthető le. A NVIDIA/nurec-skills tár tartalmaz készségeket a Physical AI adatkészletek letöltéséhez, a NuRec-kel történő rendereléshez és a kimeneti képkockák finomításához.