Száz óra tapintási adatot gyűjtött a T-Rex, hogy a robotok finom mozdulatait is megtanulhassák

A robotkaroknak a finom manipulációban való sikere továbbra is akadályt jelent a mindennapi feladatok elvégzésében. A tapintásérzékelés kulcsfontosságú lehetne, ám a minőségi adatok hiánya lassította a fejlődést. Azonban új tapintási adatkészletek, mint a T-Rex, és a hozzá kapcsolódó technikák most változtatnak ezen a helyzeten. (IEEE Robotics)

A korábbi látás-nyelv-akció (VLA) modellek jelentősen javították a robotok képességét összetett feladatok végrehajtására, akár mosás hajtogatása vagy konyhai eszközök kezelése terén is, pusztán videó és szöveges utasítások alapján. Azonban a finom kézi irányítást igénylő feladatok, mint például USB-kábel bedugása vagy kulcs elfordítása, továbbra is kihívást jelentenek, mivel ezek a modellek figyelmen kívül hagyják az ember által is használt elsődleges információforrást: a tapintást.

A tapintás ereje a robotokban

„A legtöbb finom manipulációt emberi szemmel csukottan is el lehet végezni” – mondja Trevor Darrell, a Kaliforniai Egyetem, Berkeley professzora. „Az erő, a megcsúszás és a precíz fogás megértése nem végezhető jól hagyományos látásérzékelőkkel.” A tapintásérzékelők hatékony használata azonban nehézkes, mivel az adatok jellege eltér a VLA modellek tipikus képadataitól, és a tapintási adatkészletek mérete elmarad a látás- és nyelvi adatkészletek internetes méretétől.

A T-Rex adatkészlet és a két-szakértős modell

Darrell csapata egy új megközelítést dolgozott ki: először meglévő adatkészleteken előképeztek egy modellt, majd egy speciális szubmodellt tanítottak 100 órányi, gondosan gyűjtött, kiváló minőségű tapintási adatra. Ez az adatbázis több mint 200 különböző háztartási tárgyon végzett olyan alapvető műveleteket tartalmazott, mint törlés, fogás, csavarás vagy öntés. A cél az volt, hogy a robot valós időben, tapintási jelzések alapján korrigálhassa a fogását. Ehhez azonban a látás-nyelv modellekénél gyorsabb reakcióidőre volt szükség.

A csapat ezért külön szubmodelleket, „szakértőket” használt: az egyik az általános mozgástervet határozza meg, míg a négyszer gyorsabb tapintási szakértő a valós idejű tapintási visszajelzések alapján finomítja a mozgást. A modellt mintegy 100 teleoperált demonstráción finomhangolták, amelyek olyan komplex feladatokat foglaltak magukban, mint egy villanykörte becsavarása vagy fogkrém felvitele fogkefére. Ezeken a feladatokon a modell 65%-os átlagos sikerességet ért el 12 különböző feladatban, ami csaknem kétszerese a legjobb korábbi VLA modell teljesítményének.

A kutatók elismerik, hogy az eredmények egyetlen robot hardverplatformon alapulnak, és a különböző tapintásérzékelők eltérő fizikai elveken működhetnek. Chengbo Yuan, a Tsinghua Egyetem hallgatója által vezetett kutatás 3000 órányi, 21 különböző érzékelőtípust és különféle robotokat felölelő adathalmazt aggregált, hogy hardverfüggetlen modellt hozzanak létre. Ez a modell a különböző adatokból közös formátumot képezve, egy sablon emberi kézre vetítve tanult. A kutatók szerint ez a megközelítés „valamilyen közös tapintási tudást” tesz lehetővé.

A Fudan Egyetem és a NeoteAI által fejlesztett, 30 000 órányi adatot tartalmazó új adatkészlet, amely szinkronizált vizuális és tapintási adatokat gyűjtött, már proaktívan előrejelzi a várható tapintási érzeteket. A kutatók szerint a nagyméretű és változatos tapintási adatokhoz való hozzáférés jelentős teljesítménynövekedést eredményez. Más kutatók, mint a Dél-Kaliforniai Egyetem munkatársai, azt vizsgálják, hogyan lehet tapintási információt inferálni pusztán vizuális adatokból, ami még tapintásérzékelő nélküli robotok számára is hasznos lehet.

Azonban továbbra is kérdéses, mennyi tapintási adatra lesz szükség a valódi dexteritás eléréséhez. Yuan szerint a tapintási képzés eddig leginkább a már elérhető feladatok, mint a tárgyak felvétele és elhelyezése hatékonyabbá tételében segített, és elképzelhető, hogy új algoritmusokra lesz szükség a kizárólag tapintás révén megoldható problémákhoz. Long Cheng, a Kínai Tudományos Akadémiáról úgy véli, hogy a nyers adatok önmagukban nem jelentenek csodaszert.