ElevenLabs predstavilo novú generáciu svojho text-to-speech systému Eleven v4, ktorú označuje za svoj doteraz najexpresívnejší hlasový model. Spolu s ním prichádza aj Eleven v4 Turbo, verzia optimalizovaná na aplikácie v reálnom čase. Oba modely podporujú viac ako 90 jazykov vrátane slovenčiny.
Hlavnou zmenou vo v4 je nová architektúra, ktorá sa snaží lepšie chápať celý kontext scenára. Model sleduje, kto práve hovorí, čo sa v konverzácii predtým stalo a akým spôsobom má konkrétna veta vyznieť. Výsledkom majú byť prirodzenejšie emócie, tempo a intonácia, od jemného rozprávania cez humor až po dramatické alebo urgentné prejavy. Výrazne lepšie majú fungovať aj dialógy viacerých postáv.
V texte je možné používať priamo režijné značky ako [laughs], [whispers] alebo dokonca zvukové udalosti typu [door slams]. V4 má tieto pokyny nasledovať spoľahlivejšie ako Eleven v3 a dokáže tak kombinovať hlas s jednoduchými zvukovými efektmi a vytvárať komplexnejšie audio scény.
Veľký posun nastal aj pri klonovaní hlasu. ElevenLabs tvrdí, že v4 lepšie zachováva farbu hlasu, kadenciu a spôsob prejavu pôvodného rečníka. Zlepšili sa Instant Voice Clones a model už podporuje aj Professional Voice Clones, pričom identita hlasu má zostať stabilnejšia aj pri dlhších nahrávkach, regenerovaných pasážach alebo dialógoch.
Pre dlhšie projekty firma zároveň zlepšila takzvaný request stitching, teda spájanie viacerých generovaných častí do jedného súvislého výstupu. To je dôležité hlavne pri audioknihách, dabingu a dlhších voiceoveroch, kde sa pri starších modeloch mohli medzi jednotlivými generáciami meniť vlastnosti hlasu.
Eleven v4 Turbo je určený hlavne pre hlasových agentov a interaktívne aplikácie. Ponúka podobné schopnosti ako základný v4, ale s mediánovou latenciou približne 100 ms, takže môže reagovať prakticky v reálnom čase. Klasický Eleven v4 je orientovaný viac na maximálnu kvalitu pri tvorbe obsahu a dlhšom audiu.
Podľa vlastných slepých testov ElevenLabs preferovalo približne 75 % poslucháčov Eleven v4 pred konkurenčnými modelmi od Cartesie, Inworldu a Googlu. Firma zároveň uvádza, že model sa v septembri dostal na prvé miesto rebríčka Provider Voice Arena od Artificial Analysis. Ide však o výsledky a metodiku uvádzané samotným ElevenLabs.
Eleven v4 a v4 Turbo sú už dostupné v službách ElevenCreative, ElevenAgents a cez ElevenAPI. Pre audioknihy, dabing, herné postavy či vlastné hlasové projekty je v4 oproti v3 zameraný najmä na tri veci: presnejší hlas, výraznejšie emócie a podstatne lepšiu konzistenciu pri dlhšom audiu.
Komentáre