AI-ügynökök javasolnak, de az ember dönt, 55%-ban segítenek a modellek fejlesztésében
Az AI-ügynökök 55,4 %-ban javasolnak módszereket a modellek fejlesztése során, de az emberi döntéshozók 85,5 %-ban választják ki a végső opciókat – derül ki a Fudan Egyetem kutatásából.
A projektben egy Atria Dawn Preview nevű, 744 milliárd paraméteres, kevert szakértői architektúrán alapuló nyelvi modellt fejlesztettek, amely kutatási és mérnöki feladatokra lett tervezve. A modell 16 benchmarkból ötben vezet, köztük a webes keresés és a kiberbiztonság területén, bár általános előnye nincs a versenytársakkal szemben. (The Decoder)
Az AI-ügynökök mint asszisztensek
Az AI-t a vizsgált feladatok 96,5 %-ában használták. A projekt előrehaladtával a résztvevők egyre több feladatot delegáltak az ügynökökre: az ügynökök akcióinak és az emberi bemenetek aránya négy hét alatt 11-ről 28,5-re nőtt. A kutatók azonban óvatosságra intenek az ügynökök növekvő autonómiájával kapcsolatban.
Az emberi döntések több ügynöklépést generáltak, ami nem jelenti azt, hogy az ügynökök önállóan hoztak volna több döntést. Azt is megfigyelték, hogy a feladatok nagyjából egyharmada (151 a 455-ből) nem lett volna megvalósítható AI segítsége nélkül, ami azt jelzi, hogy az AI nem csupán gyorsította a munkát, hanem olyan feladatokat is lehetővé tett, amelyeket korábban el sem kezdtek volna.
Emberi döntéshozatal a fókuszban
A módszerek és paraméterek tekintetében az „AI javasol, ember választ” minta volt a leggyakoribb, az esetek 55,4 %-ában. Összességében az emberek hozták a módszerekkel és paraméterekkel kapcsolatos döntések 85,5 %-át, míg az AI mindössze 9,2 %-ban volt döntéshozó. Az emberi döntések aránya a célok és a hatókör meghatározásában 93,4 % volt.
Az AI javaslatainak aránya a döntés típusától függően 17 és 55 % között mozgott, de a végső döntésekben csak egy számjegyű részesedést ért el. Még azokban a feladatokban is, amelyeket AI nélkül nem tudtak volna elvégezni, az emberek döntöttek a célokról az esetek 95,4 %-ában.
Kontextus és problémamegoldás
A nehézségekkel küzdő feladatok 76 %-ában emberi beavatkozás segítette a továbblépést, míg 23 %-ban az ügynök oldotta meg a problémát önállóan. Az emberi segítség leggyakrabban információ formájában érkezett: kontextus hozzáadásával vagy követelmények tisztázásával (35,2 %), illetve diagnosztizálással és módszerváltással (34,7 %). Az emberek ritkán végezték el maguk a munkát; a részleges szerkesztések az esetek 3,2 %-át, a teljes átvétel pedig mindössze 0,7 %-át tette ki. Az AI által generált kimenetek módosítására emberi visszajelzés után 75,4 %-ban az AI maga válaszolt.
Az AI szerepének fejlődése és a jövő
A kutatók szerint az AI szerepe három fázison ment keresztül: kutatási tárgyból egyéni feladatok eszköze lett, jelenleg pedig projektpartnerként funkcionál. Ebben a szerepben az AI ember által meghatározott célokon belül készít és módosít terveket. Egy spekulatív negyedik fázis a rekurzív önfejlesztést jelentené, ahol erősebb modellek hozzák létre erősebb utódjaikat.
Ez a jövőbeli lehetőség azonban nyitott kérdés maradt, akárcsak az, hogy az AI hogyan tudna változatos kutatási irányokat javasolni és azok értékét felmérni, mielőtt az eredmények rendelkezésre állnának. A kutatás eredményei ellentmondanak egyes véleményeknek, miszerint az AI hamarosan önállóan fejlesztheti utódait, és a döntéshozatal teljes egészében rá hárulhat. A Fudan Egyetem kutatása szerint az AI-ügynökök 55,4 %-ban javasolnak módszereket a modellek fejlesztése során.