Az AI-modellek gondolkodási idejét súlyozza át a teszt-időbeli desztilláció
A teszt-időbeli számítás az AI-modellek harmadik skálázási tengelye lett a paraméterek és adatok mellett. A módszer célja, hogy a 16 mintán alapuló szavazás eredményét egyetlen előrejelzésben rögzítsék.
Az AI-modellek gondolkodási idejét súlyozza át a teszt-időbeli desztilláció. A módszer célja, hogy a 16 mintán alapuló szavazás eredményét egyetlen előrejelzésben rögzítsék. (TheSequence)
A teszt-időbeli számítás újragondolása felveti a kérdést, hogyan lehetne ezt a megnövelt intelligenciát, amely jelenleg drága, ismétlődő számítási folyamatként valósul meg, hatékonyabban integrálni. Ha egy modellnek 16 jelöltet kell mintavételeznie és többségi szavazással válaszolnia egy kérdésre, akkor ez a 16 minta és a szavazás maga alkotja a „valódi” modellt.
A teszt-időbeli számítás desztillációja arra törekszik, hogy ezt a jobb modellt visszaszorítsa a súlyokba, így a modell egyetlen előrehaladása (forward pass) képes legyen ugyanazt az eredményt produkálni, mint a korábbi, 16 lépéses folyamat.
Önmagába desztilláló tanár
A teszt-időbeli számítás desztillációjának tanára nem egy nagyobb hálózat, hanem maga a modell, amely több időt kap a gondolkodásra. Ez egyfajta ön-desztilláció, ahol a modell a saját, hosszabb ideig tartó gondolkodási folyamatából tanul. Az eljárás célja, hogy a modell képes legyen egyetlen előrehaladás során produkálni azt az eredményt, ami korábban 16 mintavételezést és szavazást igényelt. Ez potenciálisan csökkentheti az inference költségeit, miközben megőrzi vagy akár javítja a pontosságot.
Az amortizáció lépése
Ez a megközelítés arra utal, hogy a korábbi, drága inference-időbeli számítási folyamatok, amelyek az AI-modellek pontosságát növelték, átalakíthatók állandó, a modell súlyaiba beépített képességekké. A Sequence Knowledge 2026. augusztus 18-i, 916. számában megjelent elemzés szerint minden vezető AI-labor átállt a teszt-időbeli számításra, ami az AI-fejlesztés harmadik nagy irányává vált.