AI-agentek javasolnak, de az ember dönt, 55%-ban segítenek a modellek fejlesztésében

A projektben egy Atria Dawn Preview nevű, 744 milliárd paraméteres, kevert szakértői architektúrán alapuló nyelvi modellt fejlesztettek, amely kutatási és mérnöki feladatokra lett tervezve. A modell 16 benchmarkból ötben vezet, köztük a webes keresés és a kiberbiztonság területén, bár általános előnye nincs a versenytársakkal szemben. (The Decoder)

Az AI-agentek mint asszisztensek

Az AI-t a vizsgált feladatok 96,5 %-ában használták. A projekt előrehaladtával a résztvevők egyre több feladatot delegáltak az agentekre: az agentek akcióinak és az emberi bemenetek aránya négy hét alatt 11-ről 28,5-re nőtt. A kutatók azonban óvatosságra intenek az agentek növekvő autonómiájával kapcsolatban.

Az emberi döntések több agentlépést generáltak, ami nem jelenti azt, hogy az agentek önállóan hoztak volna több döntést. Azt is megfigyelték, hogy a feladatok nagyjából egyharmada (151 a 455-ből) nem lett volna megvalósítható AI segítsége nélkül, ami azt jelzi, hogy az AI nem csupán gyorsította a munkát, hanem olyan feladatokat is lehetővé tett, amelyeket korábban el sem kezdtek volna.

Emberi döntéshozatal a fókuszban

A módszerek és paraméterek tekintetében az „AI javasol, ember választ” minta volt a leggyakoribb, az esetek 55,4 %-ában. Összességében az emberek hozták a módszerekkel és paraméterekkel kapcsolatos döntések 85,5 %-át, míg az AI mindössze 9,2 %-ban volt döntéshozó. Az emberi döntések aránya a célok és a hatókör meghatározásában 93,4 % volt.

Az AI javaslatainak aránya a döntés típusától függően 17 és 55 % között mozgott, de a végső döntésekben csak egy számjegyű részesedést ért el. Még azokban a feladatokban is, amelyeket AI nélkül nem tudtak volna elvégezni, az emberek döntöttek a célokról az esetek 95,4 %-ában.

Kontextus és problémamegoldás

A nehézségekkel küzdő feladatok 76 %-ában emberi beavatkozás segítette a továbblépést, míg 23 %-ban az agent oldotta meg a problémát önállóan. Az emberi segítség leggyakrabban információ formájában érkezett: kontextus hozzáadásával vagy követelmények tisztázásával (35,2 %), illetve diagnosztizálással és módszerváltással (34,7 %). Az emberek ritkán végezték el maguk a munkát; a részleges szerkesztések az esetek 3,2 %-át, a teljes átvétel pedig mindössze 0,7 %-át tette ki. Az AI által generált kimenetek módosítására emberi visszajelzés után 75,4 %-ban az AI maga válaszolt.

Az AI szerepének fejlődése és a jövő

A kutatók szerint az AI szerepe három fázison ment keresztül: kutatási tárgyból egyéni feladatok eszköze lett, jelenleg pedig projektpartnerként funkcionál. Ebben a szerepben az AI ember által meghatározott célokon belül készít és módosít terveket. Egy spekulatív negyedik fázis a rekurzív önfejlesztést jelentené, ahol erősebb modellek hozzák létre erősebb utódjaikat.

Ez a jövőbeli lehetőség azonban nyitott kérdés maradt, akárcsak az, hogy az AI hogyan tudna változatos kutatási irányokat javasolni és azok értékét felmérni, mielőtt az eredmények rendelkezésre állnának. A kutatás eredményei ellentmondanak egyes véleményeknek, miszerint az AI hamarosan önállóan fejlesztheti utódait, és a döntéshozatal teljes egészében rá hárulhat. A Fudan Egyetem kutatása szerint az AI-agentek 55,4 %-ban javasolnak módszereket a modellek fejlesztése során.