LLM-ek alkalmatlanok a kutatási ötletek újdonságának megítélésére
Az Allen Institute for AI (Ai2) kutatói szerint a GPT-5 és Claude 4.5 modellek pontatlanok az új kutatási ötletek értékelésében, az utasítások apró változásai drámaian eltérő eredményeket hoznak.
Az Ai2 már fejleszt olyan AI-rendszereket, amelyek a tudományos felfedezések különböző részeit támogatják, mint a DataVoyager, az AutoDiscovery és a Theorizer. Ezek a rendszerek segítenek a kutatóknak az eddigi munkák megértésétől az új ötletek felvetésén, tesztelésén és finomításán át. Azonban az automatizált tudományos felfedezés kihívása nem csak az ötletek generálása, hanem annak biztosítása is, hogy azok valóban újat hozzanak, megkülönböztetve az újszerű irányokat a meglévő munkák újracsomagolásától. Ezt a feladatot gyakran egy másik LLM-re, úgynevezett „újdonság-bíróra” bízzák. (Hugging Face)
Modelltesztelés és pontossági ingadozás
A kutatás hat különböző LLM-et vizsgált: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 és Claude Opus 4.6. Az eredmények szerint apró változtatások az értékelési beállításokban drámaian eltérő ítéleteket eredményeztek ugyanazokra az ötletekre.
Egy kísérletben egy prompt mindössze néhány szavának megváltoztatása több mint 50 százalékponttal módosította a modell pontosságát abban, hogy melyik két ötlet közül melyik az újszerűbb. Az adatok lekérése és a további érvelés nem javította következetesen az ítéleteket. Két speciálisan erre a célra épített értékelőrendszer rosszabbul teljesített, mint egy egyszerű prompttal ellátott Claude Opus 4.6 alapmodell.
ICLR 2026 alapú adatbázis és szakértői vizsgálat
A megbízhatóbb újdonság-értékeléshez a kutatók egy automatizált folyamatot hoztak létre az ICLR 2026 konferencia lektorálási folyamata köré. Ahelyett, hogy a cikk elfogadását tekintették volna az újdonság proxy-jának, a lektorálási szövegekből bányásztak ki olyan részeket, ahol a bírálók kifejezetten tárgyalták egy hozzájárulás eredetiségét. Létrehoztak egy magas újdonságtartalmú 154 ember által írt kutatási ötletből álló poolt, valamint egy alacsony újdonságtartalmú 145 ötletből álló poolt, amelyeket elutasított cikkekből gyűjtöttek.
A kutatók egy második értékelési beállítást is létrehoztak, a Human+Generated poolt, ahol az emberi ötleteket egy egyszerű LLM-generátor által létrehozott ötletekkel párosították. Feltételezték, hogy a generált ötletek kevésbé újszerűek, mint az emberi társaik. Egy szakértő független felülvizsgálata során az emberi ötleteket preferálta mind a 30 párban, és a generált ötletek egyikét sem ítélte újszerűnek.
Az eredmények azt mutatják, hogy az LLM-ek pontossága drámaian ingadozik az értékelési beállításoktól függően. Míg egy modell viszonylag stabilnak tűnhet ember által írt kutatások esetében, addig AI-generált ötletekkel egészen másképp viselkedhet. A kutatás eszközt ad ennek a problémának a tanulmányozásához, miközben rávilágít a még megoldatlan kérdésekre. A szakértő felülvizsgálat során az emberi ötleteket preferálta mind a 30 párban.