Több mint 17 százalékkal javultak a nyelvi modellek adat-tudományi képességei visszajelzés alapján
A nyelvi modellek adat-tudományi projektjeinek pontszáma 59%-ról 76%-ra nőtt a visszajelzéses finomhangolás során, de az önértékelés 9 ponttal magasabb eredményt ad.
Az AI-modellek képesek teljes, végponttól végpontig tartó adat-tudományi projektek elkészítésére, beleértve az adatok letöltését, tisztítását, elemzését és egy rövid tanulmány megírását. A kutatók 49 különböző író-értékelő párost teszteltek hét modellből, köztük az Anthropic, az OpenAI, a Google, a DeepSeek és a Z.AI fejlesztéseiből. Az első próbálkozások átlagosan 59%-os pontszámot értek el, ami a három visszajelzési kör után 76%-ra emelkedett — írja az arXiv.
Modellspecifikus fejlődés
A fejlődés mértéke jelentősen eltér a különböző modellek között. Az Anthropic Opus 5.5 modellje mindössze 3 százalékpontos javulást mutatott, míg az Anthropic Haiku 4.5 modellje 46 százalékponttal teljesített jobban a visszajelzések után. Az értékelő szerepben is eltérések tapasztalhatók: a Google Gemini 3.8 Flash 13 százalékponttal, az Anthropic Haiku 4.5 pedig 32 százalékponttal növelte a pontszámokat.
Az önértékelés torzítása
Amikor egy modell saját munkáját értékeli, az eredmény körülbelül 9 százalékponttal magasabb, mint amit más modellek adnak neki. A kutatók becslése szerint a körök közötti pontszám-növekedés mintegy fele az értékelő modell saját zajából adódik, ami azt jelenti, hogy a visszajelzések nem mindig pontosak.
A gyengébb modellek szerepe
A visszajelzés általában magasabb pontszámokhoz vezet, de még a módosítás lehetősége vagy a megnövelt időkeret is jelentős növekedést eredményezhet egyes modellek esetében, másoknál azonban nem. Azt is megfigyelték, hogy a gyengébb modellek általában nem javítják az erősebb modellek teljesítményét.
A jövőbeli kutatások iránya
A kutatás rávilágít az agentalapú AI jövőbeli alkalmazásaira és a modell-közötti versenyre. A pontos eredmények a modellválasztástól függenek, de a gyengébb modellek nem tudják fejleszteni az erősebbeket. A kutatás 107 projekt futtatását és renderelését vizsgálta.