TensorRT Edge-LLM felgyorsítja a peremkészülék AI-modellt

A TensorRT Edge-LLM könnyű C++ inference futtatókörnyezetet biztosít a beágyazott fejlesztőknek, amely a DGX Spark 64 GB platformon is használható. A trtedge parancssori felület letölti a kiválasztott modellt, optimalizált TensorRT motorokat épít, és egy OpenAI-kompatibilis API-szervert indít a helyi prototípusfejlesztéshez — írja az NVIDIA Developer Blog.

Könnyű prototípusépítés

A CLI egyetlen "trtedge chat" parancsával elindítható a Nemotron-3.5 Lightning, a letöltés körülbelül 21 GB adatot igényel, a motorok pedig a felhasználó ~/.cache könyvtárában tárolódnak. A későbbi indítások újrahasználják a gyorsítótárazott motorokat, így a fejlesztői ciklus gyorsabbá válik.

Speculációs dekódolás teljesítménye

A DSpark speculatív dekódolás három draft tokennel a generálási átlagsebességet 73,4 token/s-ról 126,9 token/s-ra növeli, miközben a csúcs memóriahasználat 27,9 GB marad. A számok az NVIDIA saját tesztjei alapján származnak, és nem függetlenül ellenőrzöttek.

Támogatott beágyazott platformok

A TensorRT Edge-LLM motorok a DGX Spark fejlesztését követően közvetlenül telepíthetők a Jetson Thor, a DRIVE AGX Thor és az IGX Thor eszközökre, így a fejlesztők ugyanazt a kódbázist használhatják a fejlesztés és a telepítés során.

Út a további fejlesztéshez

A támogatott modellek listájából újabb LLM-eket is kipróbálhat a fejlesztő, a részletes munkafolyamatok és követelmények a TensorRT Edge-LLM dokumentációban érhetők el a developer.nvidia.com oldalon. A TensorRT Edge-LLM 0.11.1 verziója 2026. október 30-án jelent meg az NVIDIA Developer Blogon.