Nyílt súlyokkal érkezik az NVIDIA Nemotron 3 – a GPU-érték maximalizálása a cél

Az NVIDIA bemutatta a Nemotron 3.5 Lightning modellt, amely a Nemotron család legújabb tagja. A modellcsalád evolúciója a korábbi, szintetikus adatok előállítására fókuszáló Nemotron-4 340B-tól a Llama alapú hibrideken át a mostani Nemotron 3-ig tart, amely egy határterületi, nyílt családként jelenik meg. Az NVIDIA célja, hogy hozzájáruljon az ökoszisztémához és megértse az infrastruktúrát, amely a GPU-k teljesítményét maximalizálja. (TheSequence)

Hardver-specifikus architektúrák

A Nemotron 3 három kiépítésben érhető el: Nano (körülbelül 30 milliárd paraméter, 3 milliárd aktív), Super (körülbelül 100 milliárd paraméter, 12 milliárd aktív) és Ultra (körülbelül 500 milliárd paraméter, 50 milliárd aktív). Ezek a méretezések jól illeszkednek egyetlen GPU-hoz, egyetlen csomóponthoz, illetve egy NVL72 rackhez. Az NVIDIA szerint az ilyen hardverhez igazított modellek biztosítják a legjobb „bang for your buck”-ot az adott hardverköltségvetési szinten.

Nyílt súlyok és ökoszisztéma-részvétel

Az NVIDIA a GPU-k gyártójaként nem tokenekben értékesít, mégis nyílt súlyokat, adatokat és recepteket ad ki a Nemotron modellekhez. Ezt a stratégiát a cég az AI-ökoszisztémában való részvétellel, valamint azzal magyarázza, hogy a kiegészítő termékek „kommoditizálása” révén maximalizálja a GPU-k értékét. Az NVIDIA szerint az elmúlt években számos kísérlet nem váltotta be a hozzá fűzött reményeket, de rengeteget tanultak belőlük.

A chatbotoktól az ügynökök felé

A fejlesztők számára a hangsúly eltolódik a chatbotoktól a hosszú távú, ügynökalapú AI-rendszerek felé. Ezeknek a rendszereknek a demókból valódi, termelési környezetbe való átültetése jelenti a következő nagy kihívást. Az NVIDIA szerint a jövőben a biztonság és a megbízhatóság kulcsa a nyílt forráskódú modellek és adatok széleskörű hozzáférése és ellenőrzése, ami „nyílt forráskódú is big dope” – ahogy Chris Alexiuk fogalmazott.

Nyílt adatok fontossága

Az NVIDIA jelentős, több billió token nagyságrendű adathalmazokat tesz közzé modelljei mellett. Alexiuk kiemelte, hogy a nyílt adatok nélkülözhetetlenek a modellek valódi auditálásához és megértéséhez. Bár viselkedéselemzéssel sok minden kideríthető, a nyílt adatok extra „feelsgoodman.jpg” élményt nyújtanak a modellek működésének megértésében, és megkönnyítik a kutatók számára a Nemotronra építést.

A jövő irányai

A Nemotron 3 modelljei Mamba-2 rétegeket és ritka Mixture-of-Experts (MoE) rétegeket kombinálnak, kevés figyelmi réteggel. Az NVIDIA szerint az „Attention is not ALL you need”, de bizonyos mértékig még szükséges, különösen a hosszú kontextus megértéséhez. A LatentMoE technológia pedig csökkenti a késleltetést és növeli a teljesítményt, lehetővé téve több szakértő egyidejű használatát. Az NVIDIA már dolgozik multimodális modelleken is, mint a Nemotron 3 Nano Omni, amely a jelenlegi Nemotron 3 gerincére épül.