Robot startup Shift ingyenes takarítással gyűjt adatot a mesterséges intelligenciához

A Shift startup május 28-án jelentette be, hogy ingyenesen kitakarít bármilyen New York-i lakást. A bemutatkozó videóban lelkes fiatalok súrolták a vécéket, porszívóztak és törölgették a pultokat. A csavar? A takarítók kamerákkal felszerelt baseballsapkát viseltek. (Understanding AI)

A cég azt tervezte, hogy rögzíti a munkavállalók tevékenységét, és az adatokat eladja robotikai cégeknek. Bár az egész ajánlat talán csak egy marketingfogás volt – az időzítési weboldal egy GYIK-ban megjegyzi, hogy az ajánlat csak „korlátozott ideig” érhető el –, mégis tökéletesen összefoglalja a robotika egyik legfontosabb trendjét.

A korai LLM-eket híresen a „következő szó előrejelzésére” képezték ki, milliárdnyi internetről lehúzott szöveges tokenen keresztül. A legtöbb robotikai szakértő arra számít, hogy valami hasonlóra lesz szükség az általános célú robotok betanításához: egy internet méretű adatbázisra a mindennapi feladatokról, amelyekből a robotok tanulhatnak. Jelenleg azonban az emberiségnek nincs semmi hasonlója. A robotok feladatokat végrehajtó, legnagyobb nyíltan elérhető adathalmaza, az ABC-130K, csak 3500 órányi feladatbemutatót tartalmaz.

Adatgyűjtési stratégiák robotikai startupoknál

Az elmúlt hónapokban alapítók, mérnökök és robotikai kutatók tucatjaival beszélgettem a demonstrációs adatok szükségességéről és arról, hogyan próbálnak többet szerezni belőle. Látogatást tettem egy robotikai laborban az University of Pennsylvanián, hogy kipróbáljam az adatgyűjtést.

Tavaszi kínai utam során olyan embereket láttam, akik virtuális valóság headsetet viselve emberi robotokat irányítottak hűtőszekrények nyitásához, szemetek söpréséhez és párnák mozgatásához. Amikor augusztusban részt vettem a San Franciscó-i Actuate konferencián, meglepődtem, hányan dolgoznak adatgyűjtési startupoknál.

A Shifthez hasonló induló vállalatok sokasága próbálja megoldani az adathiányt az emberi cselekvések rögzítésével és a videók robotok betanítására alkalmas adatokká alakításával. Más cégek embereket bérelnek fel, hogy közvetlenül robotokat üzemeltessenek laborokban, gyárakban, sőt, emberek otthonában.

Még mások embereket bérelnek fel mindennapi feladatok elvégzésére, miközben kesztyűt vagy exoskeletonokat viselnek, amelyek robotszerű mozgásra kényszerítik az embert, és gazdag adatokat rögzítenek a munkavállaló tevékenységéről. Néhány nagy adatgyűjtő cég, mint a Scale AI, minden ilyen stratégiát kísérletezik.

A „csirke-tojás” probléma és a virtuális környezetek

A végső cél az olyan robotok fejlesztése, amelyek képesek (többnyire) autonóm módon működni a valós világban. Ha ez megtörténik, a robotok hasznos munka végzése közben további betanítási adatokat generálhatnak. Ez egy lendkereket eredményezhet, ahol a legjobb robotokkal rendelkező cégek tudják előállítani a legmagasabb minőségű adatokat, lehetővé téve számukra, hogy még jobban fejlesszék robotjaikat. Deepak Pathak, a Skild robotikai startup vezérigazgatója azonban azt mondta nekem, hogy itt egy „csirke-tojás probléma” van.

A bevetésekből származó magas minőségű adatok előállításához a robotoknak képesnek kell lenniük valamennyi hasznos munka elvégzésére. És ennek elérése valószínűleg jelentős mennyiségű adatot igényel. Tehát a cégeknek először ki kell találniuk egy skálázható módot a robotikai adatok megszerzésére anélkül, hogy kereskedelmi célból robotokat vetnének be. Az első cég, amelyik ezt megoldja, nagy előnyre tehet szert.

Mielőtt megvizsgálnánk azokat a stratégiákat, amelyeket a cégek a valós idejű betanítási adatok generálására használnak, érdemes feltenni a kérdést: miért van szükségünk valós idejű adatokra? Közel egy évtizede a Google DeepMind egy AI-t képzett ki a Go játékra teljes egészében önmagával való játékon keresztül. Miután milliókat játszott egymás ellen, a modell jobb lett a Go-ban, mint a legjobb emberek. Lehetne valami hasonlót csinálni a robotokkal?

A fizikai robotok valós világban történő betanítása helyett talán virtuális robotok „taníthatnák magukat” feladatok végrehajtására egy szimulált környezetben. Ez a megközelítés bizonyos robotikai feladatoknál jól működik. Márciusban a Figure humanoid robotikai cég leírta, hogyan tanítja robotjait járni. A Figure egy digitális ikertestvért programozott a Figure 02 robotjáról egy fizikai szimulátorban, és a virtuális robot millió kísérletet tett a járásra.

Minden alkalommal a robot programozott visszajelzést kapott – egy megerősítéses tanulásnak nevezett folyamatban –, amíg a robot képes volt járni a szimulációban. Amikor a Figure telepítette az eredményül kapott modellt egy fizikai robotra, az a valós világban is tudott járni. Ha ez a módszer működik, ez az ideális módja egy robot betanításának. Nagyon gyors lehet: a Figure szerint „éveknyi szimulált demonstrációt tudtak néhány óra alatt megszerezni”.

Ez a módszer nagyon robusztus modellt is eredményezhet: miután 1000 évnyi szimulációt tanítottak a Skild alapmodell-cég, egy olyan modellt állított elő, amely képes volt irányítani egy négylábú robotot, még akkor is, ha a mérnökök félbe fűrészeltek a lábait. Lényegében minden ma humanoid robotot gyártó cég megerősítéses tanulást használ szimulált környezetben, hogy megtanítsa járni.

A manipulációs feladatok kihívásai

Sajnos, bár ez a megközelítés jól működik a mozgási feladatoknál, mint a járás és a táncolás, nem működik olyan jól a manipulációs feladatoknál, amelyek összetettebb interakciókat foglalnak magukban a környezettel. Képzelje el, hogy megpróbálja megtanítani egy robotnak, hogyan kell kalapálni egy szöget. Ha egy robot teljesen véletlenszerűen indul, millió iterációt végezhet anélkül, hogy egyszer is sikeres lenne.

A megerősítéses tanulás úgy működik, hogy „jutalmazza” a modellt, amikor sikeres, de ha a modell soha nem sikeres, nincs mit megerősíteni. A fejlesztők segíthetnek a virtuális robotnak azzal, hogy finomhangolt visszajelzést adnak neki, amely egy morzsalékos ösvényként szolgál a siker felé vezető úton. A robot pontokat szerezhet a kalapács megérintéséért, több pontot a felemeléséért, még több pontot a kalapáccsal a szög megérintéséért és így tovább.

De ez a „jutalom alakításnak” nevezett technika munkaigényes, nem jól transzferálható feladatok között, és még mindig nem produkál jó eredményeket. 2017-ben, amikor neves kutatók megpróbálták megerősítéses tanulással megtanítani egy robotot egy szimulációban kalapálni egy szöget, nem tudták működésre bírni csak egy „ritka” jutalommal, amely megítélte, hogy a robot sikeres volt-e az általános feladatban. Alakított jutalmak segítségével 50 óra betanításba telt, mire a robotmodell megtanult – de a robot technikája még mindig ügyetlen volt.

Azonban, ha a kutatók 25 demonstrációt adtak egy emberről, aki elvégezte a feladatot, a robotmodell körülbelül hat óra alatt megtanulta a feladatot – csaknem 10-szer gyorsabban. És a robot jobb kalapálási technikával rendelkezett.

Bár ez a cikk majdnem egy évtizedes, az alapvető megfigyelés továbbra is igaz: ahhoz, hogy a próbálkozásból tanuljunk, hasznos, ha a modellnek van egy bizonyos szintű alapkompetenciája, hogy legalább néha sikeres legyen. És az egyik legjobb módja az alapkompetencia elérésének, ha először emberi példákból tanul. A Shift New Yorkban végzett kísérlete ezt a módszert alkalmazza az adathiány leküzdésére.