Danijar Hafner új startupja modellekkel robotokat tanít a valóságra
A DeepMind korábbi kutatója model-based reinforcement learninget alkalmaz, így a robotok virtuális világmodellekben tanulnak, mielőtt a valóságban cselekednének.
Danijar Hafner, a Google DeepMind korábbi kutatója egy új startupot alapított, amelynek célja, hogy a mesterséges intelligencia (AI) képes legyen váratlan helyzetekben is eligazodni. A cég emberi alakú robotokat használ majd arra, hogy ezek az AI-ügynökök szimulációkban tanuljanak, majd a valós környezetben is helytálljanak. (MIT Technology Review AI)
Az importált, kínai gyártmányú humanoid robotokat azzal a céllal szerelik fel ezekkel az AI-ügynökökkel, hogy képesek legyenek ismeretlen otthoni környezetben navigálni, még akkor is, ha korábban soha nem látott alaprajzokkal vagy bútorokkal találkoznak.
A Dreamer-sorozat sikerei
Hafner módszere a model-based reinforcement learningen alapul. Létrehoz egy „világmodellt”, amely szimulálja a fizikai valóságot, majd ebben a virtuális térben tanítja az AI-ügynököket. Ezek az ügynökök ezután a tanult tapasztalatok alapján képesek megjósolni a jövőbeli kimeneteleket, így ismeretlen környezetben is tudnak cselekedni. Ez a technika kiküszöböli a robotika hagyományos, valós idejű próbálkozásalapú tanítási módszereit.
Hafner már korábban is bizonyította megközelítésének hatékonyságát. PlaNet modellje lehetővé tette az ügynökök számára a tervezést, a Dreamer 2 pedig emberi szintű teljesítményt ért el az Atari 2600 játékokban, világmodell használatával.
A Dreamer 3 megoldotta a Minecraft Diamond challenge-et, a Dreamer 4 pedig offline videóadatokból tanult anélkül, hogy interakcióba lépett volna a játékkal. Legutóbbi projektje, a DayDreamer, már lehetővé tette robotok számára, hogy ismeretlen környezetben működjenek és reagáljanak új tapasztalatokra, például hogy felborították őket, anélkül, hogy erre külön kiképezték volna őket.
Emberi környezetben való helytállás
Hafner új, titkos startupja, amelyet 2025 őszén alapított, a korábbi munkájának fizikai megtestesülése. Timothy Lillicrap, a Google DeepMind kutatója szerint Hafner a Google kutatóinak felső 1%-ába tartozik, és gyakran egyedül épít olyan dolgokat, amelyekhez másutt mérnöki csapatokra lenne szükség.
A cég pontos nevét és finanszírozási státuszát egyelőre nem hozták nyilvánosságra. Hafner célja, hogy olyan problémát oldjon meg, „ami megváltoztatja a világot". A technológia lehetővé teszi a robotok számára, hogy rendkívül összetett feladatokat hajtsanak végre valós idejű próbálkozás és hiba nélkül. A startup 2025 őszén jött létre.