Нейросеть ElevenLabs научили дублировать видео на русский язык
Она способна "копировать" голос актера из кадра и автоматически переводить произносимый текст, замещая оригинальную дорожку новым голосом.
Однако, сообщество в сети заметило, что качество перевода оставляет желать лучшего. Некоторые оценивают эту функцию как полезную, но сравнивают получившийся дубляж с озвучкой из 1990-х годов, где текст зачитывался без учета мимики и артикуляции персонажей в кадре. Это означает, что нейросеть пока что не может полностью заменить профессиональных актеров озвучивания.
Более того, нейросеть ElevenLabs имеет способность переводить русскоязычные видеоролики на другие языки, что делает популярные мемы и видео-контент более доступными для англоговорящей аудитории. В общей сложности, ElevenLabs поддерживает 29 языков и предоставляет определенные функции по условно-бесплатной модели, что позволяет каждому желающему опробовать их возможности.