Nemotron 3.5 Transcribe 5,33% WER-rel vezeti az angol ASR ranglistát
5,33 %-os átlagos WER-rel, az NVIDIA szerint a Nemotron 3.5 Transcribe első helyen áll az angol Open ASR ranglistán — a modell egy órás felvételeket is képes feldolgozni és legfeljebb nyolc beszélőt azonosít.
Az NVIDIA nyílt-súlyú Nemotron 3.5 Transcribe 40 nyelven képes átiratra, 31 nyelven fordít, és 13 nyelven jelöli a beszélőket — az NVIDIA szerint a modell egyetlen checkpointban egyesíti a feladatokat. — írja az NVIDIA Blog.
A David AI 21-nyelvű diarizációs ranglistán a modell 18,26%-os hibaaránnyal a legalacsonyabb értéket érte el, a VoiceArena 14-rendszeres összehasonlításban pedig 32,4%-os cpWER-rel áll első helyen.
Az Open ASR ranglistán a modell 5,33%-os átlagos WER-rel vezet az angol szekcióban, a többnyelvű szekcióban 4,62%-os átlagos WER-rel is a legjobb nyílt-súlyú megoldás — az NVIDIA szerint ez a teljesítmény a 30 milliárd paraméteres modelljei közül kiemelkedik.
Hardveres támogatás és finomhangolás
Az NVIDIA bejelentette, hogy a modell kvantált változatai hamarosan elérhetők lesznek RTX Spark, DGX Spark, Jetson AGX Thor eszközökön, illetve a Blackwell adatközponti GPU-kon is skálázhatók. A Granary v2 adatcsővezeték és a NeMo Speech finomhangolási eszközök segítségével egy orvosi esetben a szóhibaarány 45,8%-kal csökkent a legjobb prompthoz képest.
Felhasználói felület és elérhetőség
A modell természetes nyelvi promptokkal irányítható: egy felvétel egyszerre átirható, lefordítható vagy a beszélői címkék hozzáadhatók. Az Agora platform már demonstrálta, hogy a szó-szintű időbélyegzőkkel a felvétel mellett megjeleníthető a pontos beszédidő, ami különösen hasznos online oktatásban. A hang-kérdés-válasz funkció csak angol nyelven érhető el, de a modell képes a kérdésre adott válaszok generálására is.
A Nemotron 3.5 Transcribe és a Granary v2 adatkészlet már elérhető a Hugging Face-en és a ModelScope-on.