Прямые трансляции YouTube начали переводиться на лету в Яндекс Браузере
В Яндекс Браузере появилась функция автоматического закадрового перевода прямых трансляций на YouTube. Теперь можно смотреть презентации гаджетов на английском языке, даже если вы им не владеете.
Пока технология работает в режиме открытого бета-тестирования. Переводятся трансляции на YouTube-каналах из плейлиста.
В основе системы лежат нейросети. Их обучили работать так, что речь начинает переводиться ещё до того, как человек на видео закончил произносить предложение. Одна нейросеть распознаёт аудио и превращает его в текст на лету, другая — определяет пол спикера по биометрии, а третья расставляет знаки препинания и выделяет из текста смысловые фрагменты. Их в итоге забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Протестировать технологию может любой пользователь Яндекс Браузера на компьютере.