World Labs ezer szimulációt generál egyetlen robotfeladatból

A World Labs bemutatta az R2S2R (Real-to-Sim-to-Real) nevű szimulációs motorját, amely valós robotfeladatokat alakít át virtuális környezetté a vezérlőmodellek betanítására és értékelésére. A technológia, amely a World Labs által júliusban felvásárolt SceniX startup munkáján alapul, jelentősen csökkenti a drága fizikai hardvertesztek szükségességét. (The Decoder)

A vállalat szerint a robotok üzembe helyezésének fő akadálya nem az architektúra, hanem a modell által szükséges tapasztalatok óriási mennyisége. A valós adatok drágák és nehezen kontrollálhatók, még az online videók sem fedik le szisztematikusan a tárgyak, fizikai körülmények és hibák teljes skáláját. Az R2S2R motor egyetlen valós feladatból több ezer kontrollált változatot hoz létre a világítás, a tárgyak pozíciója és száma, a környezet, a fizikai tulajdonságok (például súrlódás) és a kamera szögének megváltoztatásával.

A vezérlőmodellek a szimulációban edződnek, majd átkerülnek valós robotokra. Az egyik tesztplatform az ALOHA volt, egy Stanford által fejlesztett nyílt forráskódú, kétkarú robot. A World Labs közlése szerint a modellek egy órán át futottak négy további robotplatformon emberi beavatkozás nélkül. A feladatok közé tartozott tápkábel feltekerése hűtő köré két kézzel, tesztcsövek precíz áthelyezése, valamint vékony tárgyak, például filctollak vagy ceruzák szétválogatása sűrű halmazból.

A rendszer nem kötődik specifikus vezérlőmodellhez vagy robot típushoz; egy egyszer rekonstruált virtuális világ újra felhasználható új modellek és különböző robotok esetén. A World Labs szerint a szimuláció helyettesítheti a hardvert a politikaértékelés során. Egy solid szimuláció nem kell, hogy ugyanazt a sikeri arányt nyújtsa a valóságnál; lényeg, hogy ugyanazokat a kérdéseket válaszolja meg: hol bukik a modell, melyik verzió jobb, és a fejlesztések átvihetők-e a fizikai robotra.

A csapat ezt egy kétkezes kockaátadással tesztelte egy ALOHA robot karjai között. A szimuláció reprodukálta a határ eseteit, ahol a robot alig fogta meg a kockát a szélén, valamint a sikertelen kísérleteket is. Különböző modell típusok, köztük a GR00T N1.6 és a π₀.₅, valamint képzési fázisok között a szimulációban és a valóságban mért modellrangsorok nagyrészt megegyeztek. A fejlesztőcsapatok kiszűrhetik a gyenge modellverziókat szimulációban, és a legígéretesebb jelöltekre fordíthatják az értékes hardverteszteket.

A World Labs 2024-ben alakult Fei-Fei Li AI kutató által, hogy a háromdimenziós fizikai világot megértő modelleket hozzanak létre. A vállalat egymilliárd dollár kockázati tőkét gyűjtött, hogy világmodelljeit a robotika és a tudomány területére terjessze ki. Az R2S2R motor az első konkrét alkalmazása ennek a viziónak a robotikában.