DLM-ek párhuzamos token-generálással gyorsabbak, de hosszú kontextusban elmaradnak az ARM-ektől
A Diffusion Language Model-ek (DLM) párhuzamos token-generálással magasabb aritmetikai intenzitást érhetnek el, de hosszú kontextusoknál skálázási problémákkal szembesülnek az Autoregressive Language Model-ekkel (ARM) szemben.
A kutatók, köztük a Szöuli Nemzeti Egyetem, a Kaliforniai Egyetem, a Texasi Egyetem és az ICSI munkatársai, átfogó tanulmányban vizsgálták meg a két modellcsalád közötti különbségeket. Eredményeik szerint a DLM-ek magasabb aritmetikai intenzitást érhetnek el a tokenpozíciók közötti párhuzamosság kihasználásával, de nem skálázódnak hatékonyan hosszú kontextusoknál — írja az arXiv. (Apple ML)
A Diffusion Language Model-ek (DLM) ígéretes alternatívát kínálnak az eddig domináns Autoregressive Language Model-ek (ARM) helyett. Míg az ARM-ek szekvenciálisan, tokenenként generálnak, ami lassítja a folyamatot, a DLM-ek párhuzamosan dolgoznak, így elméletileg gyorsabbak lehetnek.
A blokkalapú dekódolás előnyei
A probléma megoldására a kutatók a blokkalapú dekódolást javasolják a DLM-ek számára. Ez a módszer elválasztja az aritmetikai intenzitást a szekvencia hosszától, lehetővé téve a jobb skálázhatóságot hosszú kontextusok esetén is, hasonlóan az ARM-ekhez. Ez a megközelítés még nem került széleskörű empirikus validálásra nagy léptékben.
Párhuzamosság és áteresztőképesség
A kötegelt inferencia során az ARM-ek jobb áteresztőképességet mutatnak, mivel jobban ki tudják használni a kötegen belüli párhuzamosságot. A DLM-ek késleltetésének csökkentése érdekében kulcsfontosságú a mintavételezési lépések számának minimalizálása, ami a nyílt forráskódú DLM-eknél alacsonyabb késleltetést eredményezhet az ARM-ekhez képest.
A kutatás eredményeit Minseo Kim, Coleman Hooper, Aditya Tomar, Chenfeng Xu, Mehrdad Farajtabar, Michael W. Mahoney, Kurt Keutzer és Amir Gholami jegyzik, és az arXiv-en érhetők el előnyomtatott formában.