Яндекс.Браузер стал переводить и озвучивать практически любое видео с YouTube и Vimeo
В Яндекс.Браузере появилась функция закадрового голосового перевода видеороликов с YouTube, Vimeo и других сервисов. Впервые режим закадрового перевода был представлен ещё в июле, но тогда он работал в тестовом режиме только в ПК-версии браузера и с ограниченным числом роликов. А теперь он стал доступен всем пользователям Яндекс.Браузера вне зависимости от типа устройства и платформы.
Яндекс.Браузер предлагает автоматически перевести на русский язык и озвучить практически любые видеоролики, размещённые на YouTube, Vimeo и некоторых других популярных платформах, за исключением лицензионного контента (перевести новую серию свежего сериала от Neflix таким способом не получится). Пока функция доступна только для англоязычных видео, но в перспективе Яндекс планирует добавить новые языковые пары и голоса. Это, по задумке отечественного интернет-гиганта, поможет стереть языковые границы в интернете.
Отмечается, что весь процесс перевода видео занимает несколько минут. Сначала система распознаёт текст на видео, превращая звуковую дорожку в текст. После нейросеть разбивает полученный текст на предложения, переводит его и синтезирует голос с учётом пола. Затем оригинальная дорожка приглушается и на неё накладывается новая. В этом тоже помогают нейронные сети. Пока для озвучки доступны только два голоса — мужской и женский (голосового ассистента Алисы). Разработка системы видеоперевода заняла у Яндекса около года.