LLM-ek célfelismerő képességeit vizsgálja új kutatás, eltérő eredményekkel
A klasszikus tervezőalgoritmusokhoz képest az LLM-ek eddig inkább a világismeretükre támaszkodtak, mintsem a szimbolikus érvelésre, de a célfelismerés más megközelítést igényel.
Rendszeresen értékelik a nagy nyelvi modelleket (LLM) a nulla-shot célfelismerés terén, a kulcsfontosságú klasszikus PDDL-teljesítménytesztek alapján — írja az ArXiv-en megjelent tanulmány. A célfelismerés egy abduktív feladat, amely jobban illeszkedik az LLM-ek erősségeihez, mivel a világismerettel való konzisztenciát értékeli, nem pedig új cselekvéssorozatok generálását. (arXiv)
A kutatás szerint az LLM-ek célfelismerő képességei egyenetlenek. Egyes modellek a rendelkezésre álló bizonyítékok mennyiségével együtt skálázódnak, és teljes megfigyelés esetén megközelítik a landmarkalapú pontosságot. Más modellek azonban továbbra is az előzetes világismereti alapjaikhoz ragaszkodnak, függetlenül attól, mennyi bizonyíték gyűlik össze.
A modell érvelési nyomvonalainak kvalitatív elemzése feltárta, hogy ez az eltérés a bizonyíték-integráció alapvető különbségeit tükrözi. A nulla-shot prompting során a modell csak egy feladatutasítást kap, demonstrációk vagy címkézett példák nélkül, és teljes mértékben az előzetesen betanított tudására kell támaszkodnia a megfelelő válasz generálásához.
A DreamZero projekt például mindössze 30 percnyi játékadat (55 trajektória) alapján képes alkalmazkodni a YAM robothoz, és nulla-shot módon általánosítani új tárgyakra, mint például sütőtök, plüssmackó vagy papírzacskó. Az AgiBot előzetes betanításából szerzett tudás közvetlenül átvihető, további finomhangolás nélkül.