Helyben fut a 74 milliárdos Nemotron Bolt, 65 token/sec sebességgel
Az NVIDIA Nemotron 3.5 Bolt 74 milliárdos modellje helyben futott egy Surface Laptop Ultrán, akár 65,5 token/sec sebességgel, ami a helyi AI-alkalmazások fejlesztői számára jelentős előrelépés.
A tesztelő a Nemotron 3.5 Super VL-t, egy nagyobb, látás-nyelv fókuszú testvérmodellt is kipróbálta az OpenRouter Chat felületén. Mindkét modell jól válaszolt az alapvető logikai és üzleti elemzési kérdésekre. (The Neuron)
Szuper VL teljesítménye
A Super VL különösen hatékonynak bizonyult egy eszközökkel támogatott történelmi tényellenőrzés során, és sikeresebb első próbálkozást tett játszható játék készítésére is. Az NVIDIA szerint a Super VL multimodális ügynöki feladatokban, például utasításkövetésben, eszközhasználatban, több lépéses üzleti munkafolyamatokban és vizuális megértésben is vezető pontosságot nyújt, összehasonlítható az NVIDIA legnagyobb modelljeivel.
Modellválasztás és korlátok
A Nemotron 3.5 Bolt kisebb opciót kínál bizonyos ügynöki munkaterhek helyi rendszereken tartására. A Super VL nem az NVIDIA első olyan modellje, amely vizuális anyagokat tud olvasni; a Nemotron Nano 2 VL már kínált dokumentum- és képelemzést. Az NVIDIA blogja szerint a Super VL a Nemotron Coalition-nal együttműködésben készült.
A token/másodperc érték a szerző korlátozott tesztelésén alapul, nem átfogó teljesítményteszten. A Super VL hatékonysága a tényellenőrzésben és játékgenerálásban anekdotikus, és nem függetlenül ellenőrzött.