Hiányzik a kreativitás a nagy nyelvi modellekből – vélik a matematikusok
Timothy Gowers és Peter Sarnak neves matematikusok szerint a nagy nyelvi modellek (LLM) kiválóan számolnak és kombinálnak ismert módszereket, de hiányzik belőlük az új elméletek alkotásához szükséges kreatív intuíció.
Gowers szerint a jelenlegi modellek jól kombinálnak ismert módszereket és rengeteg keresési utat próbálnak ki, de hiányzik belőlük az intuíció, amely segítene kiválasztani a kevés produktív útvonalat a hatalmas keresési térben.
Az absztrakciók hiánya
Peter Sarnak is egyetért: az AI képes meglévő elméletekből eredményeket levezetni, de nem tudja kifejleszteni azokat az absztrakciókat, amelyek a nagyobb bizonyítások alapját képezik, különösen, ha egy elemi kérdésből indul ki. A DeepMind kutatója, Tom Zahavy is hasonló következtetésre jutott.
Manipulatív elrablás
Zahavy „LLMs Can't Jump” című tanulmányában a korlátot a „manipulatív elrabláshoz” (manipulative abduction) köti, ami az új, alapvető feltételezések megalkotásának képessége, nincsenek hozzá nyelvi precedensek. A világmodellek (world models) előrelépést jelenthetnének.
Ezek az értékelések egy szélesebb vitát táplálnak arról, hogy az LLM-ek valóban sokoldalúbbá válnak-e, vagy „csupán” egyre jobbak lesznek a benchmarkokban és az ismerős problématerületeken — írja a The Decoder.