Hardy

Apple представила Airpods pro 3 с функцией синхронного перевода, а следом и YouTube анонсировал, что добавит автодубляж на 30 языков, включая русский.

Вообще, в далеком 2012 году я решил перестать заниматься синхронным переводом. Мне в один момент стало очень страшно, что лет через 10 я могу оказаться без работы, потому что технологии не стоят на месте. И что мы видим? Крупнейшие компании мира буквально стирают языковые барьеры с помощью технологий. Яндекс, кстати, был одним из первых: функцией синхронного перевода в Яндекс Браузере уже пользуются миллионы людей.

А работает эта штука прям как реальный синхронный переводчик. Сами посудите: сначала из видеоряда нужно вытащить аудиодорожку, затем мы превращаем ее в текст (speech-to-text), все это дело переводим (а в мире, между прочим, лишь несколько крутых переводчиков).

Казалось бы, все, но нет. Дальше переведенный текст нужно озвучить (text-to-speech), да так, чтобы тембр голоса учесть, пол говорящего не забыть, да и интонации расставить правильно. А ведь в видео людей может быть несколько. Нужно присвоить каждому спикеру соответствующие реплики, чтобы потом применить несколько голосов в озвучке.

Идем дальше. Русский язык, к примеру, на 30% длиннее английского, но видео имеет ограниченный хронометраж, соответственно, нужно умудряться по ходу применять методы речевой компрессии, чтобы длина перевода совпала с длиной оригинальной аудиодорожки.

А теперь представьте, как это все работает в режиме реального времени на прямых трансляциях. Там, где мы зачастую даже не понимаем, что спикер скажет дальше. А в некоторых языках синтаксис устроен таким образом, что ключевая информация для перевода может находиться в самом конце предложения.

И все это работает в реальном времени на стримах. Мозг иногда взрывается от того, как много технически сложных решений происходит «под капотом» для современного пользователя.

❤26🔥8⚡5👏4👍1💘1🦄1

www.tgoop.com/hardyblog/264

1.28K viewsedited  Sep 11 at 11:49

Apple представила Airpods pro 3 с функцией синхронного перевода, а следом и YouTube анонсировал, что добавит автодубляж на 30 языков, включая русский.

Вообще, в далеком 2012 году я решил перестать заниматься синхронным переводом. Мне в один момент стало очень страшно, что лет через 10 я могу оказаться без работы, потому что технологии не стоят на месте. И что мы видим? Крупнейшие компании мира буквально стирают языковые барьеры с помощью технологий. Яндекс, кстати, был одним из первых: функцией синхронного перевода в Яндекс Браузере уже пользуются миллионы людей.

А работает эта штука прям как реальный синхронный переводчик. Сами посудите: сначала из видеоряда нужно вытащить аудиодорожку, затем мы превращаем ее в текст (speech-to-text), все это дело переводим (а в мире, между прочим, лишь несколько крутых переводчиков).

Казалось бы, все, но нет. Дальше переведенный текст нужно озвучить (text-to-speech), да так, чтобы тембр голоса учесть, пол говорящего не забыть, да и интонации расставить правильно. А ведь в видео людей может быть несколько. Нужно присвоить каждому спикеру соответствующие реплики, чтобы потом применить несколько голосов в озвучке.

Идем дальше. Русский язык, к примеру, на 30% длиннее английского, но видео имеет ограниченный хронометраж, соответственно, нужно умудряться по ходу применять методы речевой компрессии, чтобы длина перевода совпала с длиной оригинальной аудиодорожки.

А теперь представьте, как это все работает в режиме реального времени на прямых трансляциях. Там, где мы зачастую даже не понимаем, что спикер скажет дальше. А в некоторых языках синтаксис устроен таким образом, что ключевая информация для перевода может находиться в самом конце предложения.

И все это работает в реальном времени на стримах. Мозг иногда взрывается от того, как много технически сложных решений происходит «под капотом» для современного пользователя.

BY Hardy