A Cursor nyílt forráskódúvá teszi a Mixture-of-Kittens megakernel-t

A Cursor megnyitotta a Mixture-of-Kittens (MoK) nevű megakernel-jét, amely az NVIDIA NVL72 chipjeire optimalizálták. A cég szerint a MoK egyesíti az összes Mixture-of-Experts (MoE) kommunikációt és számítást egyetlen, determinisztikus kernelbe, ami akár 2,37-szeres gyorsulást eredményezhet a nyilvános benchmarkokhoz képest. (Latent Space)

Ez a fejlesztés egy olyan időszakban érkezik, amikor az NVIDIA Rubin chipjei látszólag megölik a hagyományos megakernel-kutatást. Az NVIDIA mérnökei szerint a Rubin architektúrája jobban illeszkedik a finomabb vezérlésű kernel-koordinációhoz, mint a monolitikus megakernel-megoldások. Kyle Kranen, az NVIDIA egyik mérnöke tweetjében kiemelte, hogy a Rubin finomabb szintű kernel-koordinációt tesz lehetővé, beleértve a csempe-szintű függőségi triggereket, ami azt jelenti, hogy amint az adatok rendelkezésre állnak egy művelet egy részének megkezdéséhez, az azt végrehajtó kernel elindulhat.

Ali @waterloo_intern korábban egy podcastban fejtette ki, hogy bár a megakernel-ek elméletben vonzóak lehetnek a launch overhead csökkentése miatt, a gyakorlatban rendkívül nehéz őket optimalizáltan megírni. A TensorRT-LLM és a moduláris kernel-megoldások gyakran gyorsabbak, mivel az egyes komponenseket külön is lehet optimalizálni, és párhuzamosan futtatni őket. Az NVIDIA Rubin chipjeinek tervezése is ezt az irányt erősíti, ami arra utal, hogy a kutatási irányzatok eltolódhatnak.

Stuart Sul, aki korábban Ben Spectorrel együtt dolgozott a megakernel-kutatáson, most a Cursor MoK csapatát vezeti. A MoK a várakozások szerint jelentős megtakarítást eredményezhet nagy léptékben, akár milliárd dolláros nagyságrendben is, mivel 41%-kal növeli az összes token/másodperc sebességet. A Cursor a MoK-t ma, 2026. augusztus 4-én tette közzé nyílt forráskódúként.