A Deterministic Horizon 19-31 közötti értékkel határozza meg a pontosság plafont
A transformer-architektúra kritikus mélysége után a pontosság már nem javul, függetlenül a tanítási adatmennyiségtől, az adapter rangjától vagy a veszteségfüggvénytől. A pontosság plafonját a Deterministic Horizon 19-31 közötti értékkel határozza meg.
A MIT-kutatók és a Stanford egyesületének szerzői a preprintet az arXiv-en jelentették meg — írja az arXiv. A tanulmány a Deterministic Horizon elnevezésű új koncepciót vezeti be, amely az architektúra önmagában meghatározott pontossági plafont mutat. (ArXiv AI)
Miért fontos a pontossági plafon?
Eddig az LLM-ek teljesítménye szinte folyamatosan javult a modellméret növelésével, ám a kutatók rámutatnak, hogy egy kritikus rétegszám után a további tanítás már nem hoz javulást, ami alapvető tervezési korlátot jelent a megbízható AI-rendszerek számára.
Hogyan számítható a Deterministic Horizon?
A horizon a rétegszám és a beágyazási szélesség alapján előre kiszámítható, és a szerzők 12 transformer architektúrán 19-31 közötti értéket találtak — közölte a preprint.
Finomhangolás során a szerzők optimális hosszúságú trace-eken dolgozva legfeljebb négy százalékponttal közelítették meg a plafont, ami azt mutatja, hogy a határérték elérése gyakorlati szinten is lehetséges.
A mechanizmus a residual stream kapacitás-invariánsja, amely információelméleti átalakítás révén szuper-exponenciális pontosságcsökkenést idéz elő a horizonon túl, továbbá a szerzők feltétlen kör-komplexitási alsó határt adtak meg a moduláris architektúrákra.
A Stanford-MIT csapat 2026. május 23-án publikálta a tanulmányt, amely 12 architektúra esetén 19-31 közötti horizon értéket határozott meg.