2,2 millió óra emberi tapasztalattal tanul a LiberAI új robotmodellje

A Liber-0 36,0%-os általános sikerességet ért el 60, GPT-6 által javasolt feladat zéró-lövéses értékelésében. A pekingi startup szerint a modell emberi videókat kombinál kesztyűvel rögzített mozgással és testre szabott tanulással. A tesztfeladatok között szerepelt ceruza tokba helyezése, fiók bezárása, valamint egy hosszabb sorozat, amely során egy tollat egy tasakba helyeztek, majd a tasakot egy fiókba tették. (The Robot Report)

A LiberAI 63,5%-os sikerességet jelentett a „pick-and-place” (felvesz és elhelyez) feladatoknál, 34,0%-ot a nem „pick-and-place” manipulációs feladatoknál, és 10,5%-ot a kihívást jelentő, hosszú távú feladatoknál, 600 próba során 36,0%-os összesített eredménnyel.

A robotmanipuláció hagyományosan specifikus robotokon, specifikus feladatokra rögzített bemutatókra támaszkodott, ami lassú és költséges. Az emberi tevékenység sokkal bőségesebb, és sok már videón elérhető. A LiberAI szerint az emberi videók nem fordíthatók közvetlenül robotparancsokká, mivel a kamerák eltérő helyeken ülnek, a videókból becsült kézpozíciók zajosak, és az emberi testek eltérően mozognak, mint a robotok.

A Liber-0 három módon kapcsolja össze az emberi tapasztalatot a robotakcióval: a LiberSense Glove közvetlenül rögzíti a kézmozgásokat, a LiberAI robotplatformja emberhez hasonló kameranézeteket és mozgásokat használ, harmadik elemként pedig az egységes testre szabott reprezentáció (Unified Embodiment Representation) adja meg a modellnek a test alakjára és ízületi mozgására vonatkozó információkat.

A Liber-0 egyszerre jósolja meg a jövőbeli videókereteket és akciókat, lehetővé téve, hogy a robotok hétköznapi videókból, cselekvési címkék nélkül tanuljanak, a kesztyűs és robotfelvételek mellett, amelyek mérhető mozgást tartalmaznak. A kesztyűs adatok olyan viselkedéseket is bevezethetnek, amelyek hiányoznak egy robotadatokkal betanított modellből. Egy kísérletben a robotadatok önmagukban csak 2,2-es pontszámot értek el a nem „pick-and-place” feladatoknál, míg a kesztyűs felvételekkel ez 47,5-re, majd 54,6-ra nőtt.

Egy másik kísérlet azt vizsgálta, hogy a kesztyűs felvételek csökkenthetik-e a robotbemutatók szükségességét. Nyolc feladaton a robotbemutatók 25%-ának és a kesztyűs adatok 100%-ának felhasználásával a modell 75,6-os pontszámot ért el, míg a robotadatok 100%-ával 72,8-at. Ez azt jelenti, hogy a kesztyűs felvételek 75%-kal kevesebb robotbemutatóval hasonló teljesítményt nyújtottak. A LiberAI szerint a kesztyűs adatok gyűjtése nem igényel robotot minden helyszínen, így több embertől, több helyről és potenciálisan alacsonyabb költséggel lehet tapasztalatot szerezni.

A LiberAI belső értékelésein a modell 81,4-es pontszámot ért el „pick-and-place” és 72,3-at nem „pick-and-place” feladatokon. A robotok utólagos finomhangolása csak kis, 2,2 és 1,5 pontos növekedést hozott, ami arra utal, hogy az előre betanított modell már sok képességet magában foglal. A cég interaktív szimulációt is fejlesztett, ahol a felhasználók feltölthetik saját objektumaikat, és megfigyelhetik, ahogy a Liber-0 manipulálja őket virtuális környezetben.