47 ms-os válaszidővel érkezik az AssemblyAI első TTS-modellje

Az AssemblyAI bejelentette az AssemblyAI-TTS-1 általános elérhetőségét, a cég első szöveg-hang modellt, amely élő telefonos ügynökök számára optimalizált. A szolgáltatás streaming API-ként működik, és a lényeg, hogy a hívásban a késlelatet és a kiejtést dönti el, hogy a hívó marad-e a vonalon — írja a MarkTechPost.

A modell 47 ms-os medián time-to-first-byte időt ér el a cég saját tesztjeiben, míg a Cekura független benchmarken 159 ms-os streaming késlelatet mért. Az AssemblyAI szerint a TTS-1 93,7%-os entitás-pontosságot ér el, ami megegyezik az ElevenLabs v4-gyel, de az ára alig egyötöde annak. A cég saját mérései szerint a szópontosság 99%, a becsült MOS-érték pedig 3,85.

Az API hat nyelvet támogat indításkor: angolt, spanyolt, franciát, németet, olaszt és portugált. A fejlesztők HTTP-, WebSocket- vagy OpenAI-kompatibilis végpontokon keresztül integrálhatják a modellt, és a kimenet mono PCM, mu-law vagy A-law formátumban érkezik 8 kHz-től 48 kHz-ig. A 24 kHz-es PCM a natív formátum, de a telefonrendszerek 8 kHz-es mu-law-t is kérhetnek közvetlenül.

Hangklónozás és hangkönyvtár

A bevezetéssel együtt az AssemblyAI 4000+ hangot és azonnali hangklónozást is kínál. A klónozáshoz 24 másodpercnyi hangfelvételre van szükség, és a felhasználónak igazolnia kell a beszélő engedélyét. A modell továbbá szótőképeket is biztosít, de jelenleg nincs SSML, sebességvezérlés, kiejtési szótárak vagy érzelemcímkék támogatása.

Árazás és elérhetőség

A TTS-1 ára 15 dollár 1 millió karakterenként, beleértve a szóközöket és a pontosságjeleket is. Minden hang, klónozás, szótőképek és az EU-ban történő feldolgozás ugyanazon az áron érhető el, nincsenek per hangra vagy egyidejű használatra vonatkozó díjak, szerződések vagy minimumok. A szolgáltatás az USA (us-east-1) és az EU (eu-north-1) régiókban fut, de nincs nyílt súlyok vagy on-prem megoldás.