Emberi irányítású kárelhárítás az AI-agentek számára
Az új megközelítés lehetővé teszi, hogy az AI-agentek a káros állapotokból optimálisan térjenek vissza a biztonságos működéshez. A kutatás célja, hogy hatékonyan helyreállítsa a károkat, amikor a megelőzés kudarcot vall.
Az arXiv egy új kutatása formalizálta a kárelhárítás problémáját a számítógépes rendszereken futó nyelvi modell (LLM) alapú agentek esetében — írja a tanulmány.
A "Human-Guided Harm Recovery for Computer Use Agents" című munka arra fókuszál, hogyan lehet hatékonyan helyreállítani a károkat, amikor a megelőzés kudarcot vall. A kutatók célja, hogy az agenteket egy káros állapotból biztonságosba irányítsák, összhangban az emberi preferenciákkal.
A preferenciákhoz igazított helyreállítást egy felhasználói tanulmány alapozta meg, amely azonosította a fontos helyreállítási dimenziókat és egy természetes nyelvi rubrikát hozott létre. Az 1150 párosított ítéletből álló adathalmaz kontextusfüggő eltolódásokat mutatott az attribútumok fontosságában, például a pragmatikus, célzott stratégiák előnyben részesítését az átfogó, hosszú távú megközelítésekkel szemben.
Ezeket a tanulságokat egy jutalmazási modellben alkalmazták, amely tesztidőben rangsorolja az agent által generált több jelölt helyreállítási tervet. A képességértékelés szisztematikus megközelítést igényel.