Fish Audio 35 milliárdos MoE hangmodellje 83 nyelven beszél, de drága a futtatása

A Fish Audio bemutatta a Drama 3 nevű, 35 milliárd paraméteres, nyílt súlyú Mixture-of-Experts (MoE) text-to-speech (TTS) modellt. A modell képes a szöveges forgatókönyveket színészi instrukciókkal kiegészítve, előadott beszéddé alakítani. A fejlesztők számára a Drama 3 önállóan telepíthető megoldást kínál szkriptekhez, hangoskönyvekhez és szinkronizáláshoz. (MarkTechPost)

A Drama 3 összesen 35 milliárd paraméterrel rendelkezik, ebből tokenenként körülbelül 3 milliárd aktív paraméter vesz részt a generálásban, 8 szakértő és 1 megosztott szakértő bevonásával. A modell 83 nyelvet támogat, és képes a beszédet különböző színészi instrukciókkal, például [alig tartja magát] vagy <suttogás> jelzésekkel irányítani. Egy kérésben akár 16 különböző hangszólista is megadható.

Az architektúra a Qwen3.5-35B-A3B nyelvi modellre épül, DeltaNet rétegeket és egy Codebook-MTP dekódert használ. A Descript Audio Codec alapú hang-tokenizáló 44,1 kHz-es hangot állít elő, körülbelül 21,5 képkocka/másodperc sebességgel. A modell betanítása három előképzési, majd utasítás-finomhangolási és végül megerősítéses tanulási szakaszokon zajlott.

A Fish Audio jelentése szerint a Drama 3 93,2%-os eredményt ért el az Artificial Analysis Pronunciation Robustness (AAPR) teszten, ami az első helyet jelenti. A márkanevek, helyszínek és technikai kifejezések kiejtésében 95,9%-os pontosságot mutatott, míg az azonos szekvenciák (kódok, útvonalak, e-mailek) kiejtése volt a leggyengébb kategória 86,3%-kal. Az Artificial Analysis minőségi ranglistáján a Drama 3 elődje, az S2.1 Pro (1190 Elo) előtt, de az Eleven v4 Turbo (1328 Elo) mögött végzett 1242 Elo értékkel.

A Drama 3 futtatásához legalább 48 GB NVIDIA GPU memóriára van szükség FP8 formátumban; CPU, Apple MPS vagy AMD ROCm nem támogatott. Az első hang megszólalásáig tartó átlagos idő (TTFA) 88,9 ms, 16 stream esetén pedig az átviteli sebesség elérheti a 927,6 képkocka/másodpercet. A modell súlyai a Fish Audio Community License v1.0 licenc alatt érhetők el, amely 500 000 USD éves bevételig ingyenes kereskedelmi használatot tesz lehetővé.