Az első szöveg nélkül betanított hangmodellt mutatta be a Block, érzelmeket is felismer
A Dessát egyetlen NVIDIA GB200 NVL72 GPU-n tanították be, és egy MacBook Pro M4 Max-on is képes helyben futni. A rendszer full-duplex módban egyszerre hallgat és beszél, miközben valós időben felismeri a szarkazmust és a szüneteket.
A Block — a Square és a Cash App mögött álló cég — bemutatta a Dessát, az első olyan AI-modellt, amit kizárólag emberi hangon tanítottak be, szöveg nélkül. A rendszer nem konvertálja előbb szöveggé a hangot, hanem közvetlenül hangként dolgozza fel az adatokat — írja a Block. (The Decoder)
Hogyan működik a Dessa
A modell helyi futtatásra is alkalmas: egy MacBook Pro M4 Max-on is működik, és egyetlen NVIDIA GB200 NVL72 GPU-n tanították be. A Dessa valós időben képes felismerni az érzelmeket, a szarkazmust, a nevetést és a szüneteket, valamint támogatja a full-duplex kommunikációt, azaz egyszerre hallgat és beszél.
Előző kísérletek a hangalapú érzelemfelismerésre
A Hume AI nemrég mutatta be az EVI-t (Empathic Voice Interface), egy „érzelmi intelligenciával” rendelkező hangmodellt. A Kyutai a Moshi-val, míg a LAION Open Empathic projektje a nyílt forráskódú hangadathalmazon alapuló empátiás beszédszintézis modellek fejlesztését kezdte el. Az OpenAI frissítette a ChatGPT „Advanced Voice Mode”-ját, javítva az intonációt, a szüneteket és az empátia, valamint a szarkazmus realisztikusabb kifejezését.
A Block szerint a hang természetes érzékelése nem egyenlő az érzelmi vagy intelligens viselkedéssel — a válasz minőségét inkább a válaszadás közbeni logikai képességek határozzák meg. Az érdeklődők jelentkezhetnek egy űrlapon.