NVIDIA TensorRT új funkciója, a Global Performance Tuner, a teljesítményoptimalizálás új dimenziója

Az NVIDIA TensorRT az AI-modellekek futtatható motorok fordításakor számos egymástól függő döntést hoz, amelyek között megtalálható a grafikon átalakítása, az implementáció kiválasztása, a memóriaelhelyezés és a kvantálás. Ez a folyamat a „scheduling”, és eltérő döntésekkel is megőrizhető a modell szemantikája, miközben a futási teljesítmény drasztikusan eltérhet. (Nvidia Developer)

A korábbi heuristikák skálázhatósági korlátai

A TensorRT fejlesztői a korábbi, belső KPI-modelleken alapuló optimalizálási stratégiák skálázhatósági problémáit a Global Performance Tuner bevezetésével igyekeznek orvosolni. A korábbi módszer, ahol szakértői tudás alapján beépített heuritikák segítették az optimalizálást, egyre nehezebben birkózott meg a modellek és a futtatókörnyezetek sokszínűségével.

Három alapelv a pontosságtudatos hangoláshoz

A Global Performance Tuner, amely a TensorRT 11.1-es verziójában debütált, három alapelv mentén működik: pontosságtudatos hangolás, testreszabható build-útvonalak és egy nagy megoldásterület. Ez utóbbi biztosítja, hogy a rendszer a pontossági követelményeknek megfelelő leggyorsabb motort válassza ki.

A funkció célja, hogy a fordítási folyamatot rugalmasabbá tegye, és lehetővé tegye a fejlesztők számára, hogy az adott modellhez és futtatókörnyezethez legoptimálisabb teljesítményt érjék el, elkerülve a korábbi, univerzális stratégiák korlátait. A pontos teljesítménynövekedés mértéke ugyanakkor nem került kvantálásra a bejelentésben.