Разработчик продуктов для синтеза речи, компания ElevenLabs запустила технологичный нейросетевой инструмент, который позволяет воспроизводить автоматический дубляж роликов. Русский язык не забыли — он входит в число 29 языков, которые поддерживает данная разработка. Есть даже китайский!
Компания стала известной также благодаря продукт от HeyGen, который генерирует видео с помощью AI. Наравне с ним, новая разработка также распознает речь, переводит ее, озвучивает с помощью оригинальной звуковой дорожки и стремится сохранить исходный тон и произношение. Более того, нейросеть установить количество собеседников, проводит дуляж роликов с YouTube, TikTok, Vimeo или X (бывший Twitter). Чтобы пользоваться программой, понадобится Google-аккаунт для регистрации. Зарегистрироваться можно здесь.
Но есть и парочка минусов: нельзя обрабатывать ролики длиной больше 5 минут, существует лимит в 10 тыс. символов, нейросеть может легко запутаться в большом числе спикеров и не сможет синхронизировать речь с губами людей, а различные дополнительные звуковые эффекты могут вызвать перепады и лаги громкости, что делает ее не очень подходящей для переозвучки трейлеров.
В сети инструмент используют для перевода. Например, автор канала «Джимми Нейрон» Женя Мацкевич заставил Сергея Дружко произнести на английском мемную реплику про сильное заявление — от оригинала даже и не отличить.
