Negyvennégy százalékosan lejártak az AI-modellek kutatási állításai, a Stanfordi vizsgálat szerint

A Stanford Egyetem kutatói, Owen Queen és James Zou által végzett vizsgálat szerint a nagy nyelvi modellekkel (LLM) kapcsolatos kutatási eredmények gyorsan elavulnak. A tanulmányban 50, korábban széles körben idézett állítást teszteltek 20 különböző modellen, és megállapították, hogy ezek 44%-a már „lejárt”. (The Decoder)

Az átlagos élettartam mindössze 15,7 hónap volt a vizsgált 22 eredménynél, amelyek 2024 júliusa és 2026 szeptembere között megjelent modelleken alapultak. További 34%-uk jelentősen legyengült, míg csupán 16% tartja magát, és mindössze 6% erősödött. Az eredmények azt mutatják, hogy az eredeti hatás nagyrészt eltűnt.

Az „nem tud” kategóriájú állítások avulnak a leggyorsabban

A kutatás szerint a leggyorsabban azok az állítások avulnak el, amelyek arra vonatkoznak, hogy mit nem tudnak a modellek. Kilenc, a logikai és számítási feladatokkal kapcsolatos megállapítás közül ötöt már lejártnak tekintenek, és egyik sem tartotta magát vagy erősödött meg.

Ezek közé tartoznak olyan ismert gyengeségek, mint a „strawberry” szóban lévő betűk megszámolása, aritmetika ismeretlen számrendszerekben, információk elvesztése hosszú kontextusok közepén, vagy helyes válaszok megtagadása, amikor a felhasználó visszanyomja. A kutatók szerint ezeknél a hibáknál egy „helyes” kimenetel létezik, ami egyértelmű célt ad a fejlesztőknek a modellek tanítására.

A preferenciák és hajlamok hosszabb életűek

Ezzel szemben a preferenciákra és hajlamokra vonatkozó állítások hosszabb életűnek bizonyulnak. A 11 olyan megállapítás közül, amelyek tartották magukat vagy erősödtek, három az LLM-ek viselkedésére vonatkozik értékelőként: saját válaszaikat részesítik előnyben, hasonlóan értékelnek elfogadott és elutasított cikkeket, és befolyásolja őket a nyelvi csúsztatás az orvosi absztraktokban.

További három az udvariassághoz és a felhasználókkal való egyetértéshez kapcsolódik. Emellett megfigyelhető egy baloldali politikai elfogultság, közel azonos válaszok nyitott kérdésekre, valamint nem egyenletes eloszlás véletlenszámok generálásakor.

A hallucinált hivatkozások csökkentek, de nem mindenhol

Esettanulmányként Queen és Zou a tudományos hivatkozások gyártását vizsgálta. A Walters és Wilder 2023-as eredeti tanulmányában a GPT-3.5 hivatkozásainak 55%-a volt kitalált. A Stanford kutatói ugyanazokat a promptokat küldték el a jelenlegi modelleknek. A GPT-6.1 Sol 0%-ot, a Claude Sonnet 5.5 pedig 1%-ot produkált. Azonban a Qwen3.7-Flash, amely szintén egy 2026-os modell, még mindig hivatkozásainak 69%-át fabrikálta ugyanebben a tesztben.

A tanulmány óvatosságra int ezen eredmények „minden rendben” értelmezése ellen. Az úgynevezett „kétlépcsős” kérdéseknél, ahol a modellnek két ismert tényt kell kombinálnia, a Claude Sonnet 5.5 még mindig az esetek körülbelül 10%-ában hibázik, miközben mindkét egyéni kérdést helyesen válaszolja meg. Az eredeti tanulmányban ez az arány 43% volt a ChatGPT esetében.

Modellspecifikus eltérések és a jövő

A modell-specifikus eltérések továbbra is jelentősek, még azonos kiadási ablakon belül is. A 2026 júliusa és szeptembere között megjelent modellek esetében a lejárt megállapítások száma 11 (DeepSeek V4 Pro) és 30 (GPT-6.1 Sol) között ingadozott. Sem a kiadás dátuma, sem a szolgáltató, sem a modell mérete nem jósolja megbízhatóan a mintázatot.

Queen és Zou arra a következtetésre jut, hogy az LLM-ekkel kapcsolatos empirikus megállapításokat specifikus modellekre és időpontokra vonatkozó megfigyelésekként kell bemutatni, nem pedig általános igazságokként. A kutatók szerint az Andrej Karpathy által leírt észlelések közötti különbségek befolyásolják az AI iránti bizalmat és annak használatát, aki nemrégiben azt is kijelentette, hogy a jelenleg elérhető modellek csupán előzetesek a jövőbeli képességekhez képest.