Яндекс Браузер круто переводит видео. Как перенести его функцию в Chrome, Edge, Firefox, Safari
Все браузеры очень похожи друг на друга (особенно те, что работают на одном и том же движке). Однако веб-обозреватель Яндекса сильно выделяется на фоне всех других преимущественно функцией закадрового перевода видео — браузер переозвучивает оригинальную аудиодорожку в ролике, но на русском языке, и воспроизводит её поверх исходного видео. Благо этой опцией можно воспользоваться и в других веб-обозревателях благодаря специальному скрипту, размещённому на GitHub. В этой статье рассматриваем, как его установить, что это вообще такое и какие есть ограничения.
Как установить закадровый перевод видео Яндекса
Поддерживаются практически любые программы: не только Chrome, Edge и прочие на движке Chromium, но и Firefox с Safari.
- Установите расширение Tampermonkey (для Safari оно платное, можно заменить утилитой UserScripts) — это менеджер скриптов, который позволит запускать нужный алгоритм для закадрового перевода видео.
- Загрузите специальный скрипт — по нажатию кнопки «Установить» вкладка закроется. Проверить, установился ли он, можно в меню расширения по кнопке «Панель управления». На всякий случай файл скрипта прикреплён к этой статье (в самом низу) — его получится установить вручную, если с GitHub что-то случится.
Теперь при открытии видео на YouTube поверх иконки расширения Tampermonkey будет появляться красный кружок-индикатор, а над видеоплеером будет виджет, предлагающий выполнить закадровый перевод.
Если развернуть расширенные настройки, получится включить автоматический перевод роликов и отрегулировать громкость переведённой озвучки.
Кратко: как работает закадровый перевод Яндекса
До тестирования этой технологии может показаться, что она простая в исполнении и плохо работает: перевод голоса давно есть в том же Google Translate, а его машинная речь оставляет желать лучшего. Но на практике всё совсем наоборот — это комбинация очень сложных алгоритмов, и на выходе получается действительно отличный результат.
Закадровый перевод и озвучка осуществляются в несколько этапов:
- Распознавание и переработка речи
На этом этапе алгоритмы стараются обработать речь — в ролике может быть не один говорящий, и если просто преобразовать все услышанные слова в текст, а затем перевести его, то получится каша. Нейросеть пытается сгруппировать слова в смысловые сегменты, расставить знаки препинания (это очень важно даже в видео с одним ведущим) и вычистить мусор.
Если в видео есть вручную добавленные субтитры, то нейросеть использует их, а не оригинальную аудиодорожку.
- Определение пола говорящего
Технология Яндекса может озвучивать ролики женским голосом (Алисы) и мужским. Для этого алгоритмы должны определить пол людей, присутствующих на видео.
- Машинный перевод с учётом пола
По сути, на этом этапе происходит стандартный перевод уже готового текста, но с нюансом: алгоритмы учитывают пол говорящих, чтобы выбирать правильные местоимения, а также корректные формы глаголов и прилагательных.
- Синтез речи с учётом разницы языков
Переведённая речь в среднем на 10–30% длиннее, чем английская. Из-за этого может быть ощутимый рассинхрон между происходящим на экране и озвучкой. Умные технологии Яндекса стараются прежде всего сократить ненужные паузы между фразами и словами, а уже затем, если этого окажется недостаточно, ускоряют русскую озвучку.
Хотя некоторые из этих этапов происходят параллельно, вся технология целиком очень сложная и ресурсоёмкая — из-за этого нужно время, прежде чем закадровый перевод будет готов.
Какие ограничения по сравнению с Яндекс.Браузером
Хотя скрипт из этой статьи задействует технологию Яндекса, неофициальный закадровый перевод в других браузерах работает несколько хуже из-за определённых ограничений.
- Популярные видео не переводятся мгновенно
В Яндекс.Браузере закадровая озвучка популярных видео с большим количеством просмотров происходит моментально (видимо, компания хранит готовую озвучку этих роликов на своих серверах, а не делает её каждый раз заново). При использовании скрипта даже популярные ролики проходят все этапы закадрового перевода, поэтому приходится ждать — около 1 минуты за каждые 10 минут видео.
- Поддерживается только YouTube
Яндекс.Браузер может переводить общедоступные ролики на многих популярных платформах, однако скрипт работает только с видеозаписями на YouTube (тоже с общедоступными).
- Не присылается уведомление о готовности ролика
Поскольку закадровая озвучка не происходит мгновенно, Яндекс.Браузер присылает пользователям уведомление о её готовности — после запроса перевода можно даже закрыть вкладку. Скрипт этого делать не умеет, приходится ставить видео на паузу и ждать, пока всё будет готово.
- Исходная аудиодорожка не делается тише
Яндекс.Браузер автоматически приглушает оригинальный звук (но не убирает его полностью). В случае использования скрипта громкость исходного видео придётся делать тише вручную, иначе аудиодорожки будут накладываться друг на друга.
- Субтитры с переводом недоступны
Помимо переведённой озвучки, Яндекс.Браузер способен показывать ещё и субтитры на языке оригинала — при клике на слово отображается его перевод внутри предложения. В скрипте этой функции нет.
- Иногда встречаются баги
При использовании скрипта случается, что надпись об ожидании перевода зависает — приходится несколько раз перезагружать страницу, чтобы закадровая озвучка стала доступна (но она появляется сразу, заново ждать не приходится). В Яндекс.Браузере такой проблемы нет.
Несмотря на все ограничения, скрипт выполняет свою функцию — переозвучивает ролики на русском языке, и делает это очень хорошо. Как и технология в Яндекс.Браузере, он поддерживает не только перевод с английского, но и с немецкого, французского и испанского языков.