Hugging Face 207 WebGPU-kernelt adott ki a böngészőben futó AI gyorsításához

A Hugging Face bemutatta a @huggingface/kernels csomagot, amely minimalista könyvtárként funkcionál optimalizált WebGPU-kernelt futtatásához közvetlenül a Hugging Face Hubról. Az első kiadás 207 kernelt tartalmaz, amelyek a gépi tanulási architektúrák széles skáláján használt műveleteket fedik le.

Minden egyes kernel különálló, verziózott csomagként érhető el a Hubon, amely tartalmazza az interfészt, a shader sablonokat, a helyesség- és teljesítményteszteket, valamint a használati útmutatót. Ez lehetővé teszi a fejlesztők számára, hogy a kernelt közvetlenül azonosítsák, teszteljék és benchmarkolják.

A Hugging Face emellett elindította a Fleet nevű, böngészőalapú GPU teljesítményteszt és tesztelő eszközt. A Fleet a felhasználók hardverén futtatja és pontozza a kernelt, valamint közösségi alapon gyűjt teljesítmény- és helyességadatokat. Ezek az adatok segítenek a hibák megtalálásában, a kernelvariánsok javításában és az optimalizálási döntések meghozatalában valós hardvereken.

A kernelt a böngészőben futó AI modellek sebességének növelése érdekében tett erőfeszítések részeként vezették be. A WebGPU API és a WGSL nyelv teszi lehetővé a GPU-műveletek futtatását a modern böngészőkben, de a teljesítmény nagymértékben függhet a hardvertől és a megvalósítástól. Az egyes kerneltárak lehetővé teszik az alapréteg független fejlesztését, miközben stabil szerződést tartanak fenn a felette lévő rétegek számára.

A @huggingface/kernels csomag telepíthető npm-en keresztül, és a WebGPU támogatással rendelkező böngészőkben használható. A kerneltárak interfésze inspectálható, a helyesség- és teljesítménytesztek az implementációval együtt utaznak, és a publikált verziók explicit módon betölthetők.

A Hugging Face a @huggingface/kernels csomagot és a kerneltárakat Apache-2.0 licenc alatt teszi elérhetővé, és integrálta azokat a Hugging Face Hubba. A projekt célja, hogy a böngészőben futó AI modellek inference-sebességét javítsa azáltal, hogy egyénileg felfedezhető, tesztelhető, benchmarkolható és verziózott GPU-műveleteket biztosít. A tervek szerint a kerneltárak további műveletekkel bővülnek majd, és a közösség hozzájárulása kulcsfontosságú lesz a fejlesztésben.