Az NVIDIA új API-ja egyedi kódfúziókat és automatikus hangolást tesz lehetővé
Az NVIDIA új cuDNN Frontend Graph API-ja lehetővé teszi a fejlesztők számára, hogy egyedi kódfúziókat hozzanak létre és automatikusan hangolják a mélytanulási számításokat.
A fejlesztők grafikonként írhatják le a számításokat, amelyeket a cuDNN automatikusan optimalizál. A rendszer támogatja az FP8-stílusú epilógusokat, a skálázott pont-szorzat figyelmet (scaled dot-product attention), a dinamikus alakzatokat és a CUDA grafikus rögzítést. (MarkTechPost)
Építési folyamat és lépések
A cuDNN Frontend Graph API lehetővé teszi egyedi kernel fúziók és automatikus hangolási motor konfigurációk létrehozását. A folyamat magában foglalja a tenzorok deklarálását méreteik és lépésközeik alapján, műveletek láncolását, majd a validálás, műveleti grafikon építése, végrehajtási tervek létrehozása, támogatás ellenőrzése és tervépítés öt lépésből álló építési folyamatot.
Ellenőrzés és futtatás
A fejlesztők a Colab GPU-n futtathatják a munkafolyamatot, ellenőrizve az eredményeket a PyTorch referenciájával, hogy lássák mind a fúzió helyességét, mind a költségeit. Az NVIDIA cuDNN Frontend Graph API lehetővé teszi az automatikus hangolást a mélytanulási számításokhoz.