Что такое живые субтитры на телефонах Samsung и работают ли они?

Live caption была представлена ​​в Android 10 для нескольких телефонов Google Pixel, но Samsung лидирует, представив ее на некоторых своих флагманских устройствах. Эта функция автоматически генерирует субтитры при обнаружении речи с вашего устройства, но это не всегда лучшая альтернатива существующим службам субтитров.

Давайте посмотрим, как использовать Live Caption, и проверим, насколько хорошо они работают с подкастами, музыкой, видео, видео или голосовыми чатами.

Как включить живые субтитры на телефонах Samsung

Live Caption доступен на высокопроизводительных устройствах Samsung с One UI 2.5 и выше, включая линейки Galaxy S20 и S21. Чтобы включить Live Caption на телефонах Samsung:

  1. Откройте « Настройки»> «Специальные возможности» .
  2. Выберите Улучшение слуха .
  3. Выберите Live Caption , затем включите его, чтобы включить.

Эта функция теперь будет автоматически определять речь в различных медиафайлах. Так насколько хорошо это работает?

Живые субтитры для подкастов

Live Caption хорошо работает для подкастов и добавляет доступность этой платформе, которая раньше была только аудио. Единственный другой вариант для слушателей подкастов с нарушением слуха – это расшифровки стенограмм, которые доступны не для каждого подкаста и обычно пишутся как дополнение, а не вместо замены.

Галерея изображений (3 изображения)

Он действительно делает некоторые типичные орфографические ошибки. Вы можете увидеть это имя орфографических ошибок Levar в Levar Burton читает , и борьбу , чтобы перевести любимый, но-неуклюжего с фразой I H ел I т B ет IL ове I т : «IHIBILI.» В большинстве случаев орфографические ошибки настолько незначительны, что содержание все еще остается простым для понимания.

Где Live Caption начинает бороться больше, так это с несколькими динамиками, особенно если они разговаривают друг с другом. Когда это произойдет, как в Finish It! на скриншоте выше, подпись в реальном времени просто транскрибируется, как если бы это говорил один человек. Это может сделать текст запутанным. Однако это не проблема, если вы можете найти несколько подкастов, в которых есть один спикер.

Используйте живые субтитры с музыкой

Live Caption еще не полностью поддерживает музыку и переводит большинство песен просто как «(Музыка)». Он немного лучше справляется с медленными песнями, тексты которых похожи на произнесенные слова.

Но он может обрабатывать только небольшие различия между произнесенными словами и спетыми словами, например, когда слово становится немного длиннее. Он испытывает гораздо больше затруднений, если слово разбито на отдельные слоги, его произношение искажено или оно растягивается более чем на секунду или две.

Галерея изображений (3 изображения)

Для устных песен и стихов он подходит, если музыкальное сопровождение тихое. Когда музыка выделяется более чем светлым фоном, это затрудняет распознавание речи, и субтитры становятся более неточными или по умолчанию возвращается значение «(Музыка)».

В общем, Live Caption работает только тогда, когда музыка настолько тихая, что она едва заметна. Когда он подбирает текст, он страдает теми же ошибками, что и любой автоматически сгенерированный сервис субтитров: орфографические ошибки, ошибки омонима и пропущенные слова. Так что вам, вероятно, лучше вместо этого поискать караоке или видео с текстами песен на YouTube.

Живые субтитры для видео

Стриминговые сервисы, такие как Netflix, не используют автоматические субтитры, только закрытые субтитры. Скрытые субтитры профессионально готовятся и редактируются, поэтому никогда не рекомендуется использовать Live Caption на этих платформах. С другой стороны, YouTube по умолчанию использует собственные автоматически сгенерированные субтитры, которые Live Caption в некоторой степени улучшают.

Live Caption тесно конкурирует с автоматически созданными субтитрами YouTube. У него такая же борьба с акцентами, именами и омонимами. Иногда Live Caption выдает ошибку, в то время как подписи YouTube делают это правильно, как на скриншоте выше, а иногда происходит обратное.

Однако Live Caption больше борется с проблемами языка и перевода, потому что сейчас он захватывает только английские слова. Это означает, что пользователи Android, которым нужны субтитры на других языках, должны использовать стороннее приложение для перевода или придерживаться субтитров YouTube, которые предлагаются на нескольких языках.

Кроме того, Live Caption всегда пытается перевести иностранный язык в английское слово, похожее на звучание, например, превращение «gracias» в «grassy is», но YouTube тоже делает это.

Одно из преимуществ Live Caption - это самокоррекция. Хотя он может делать столько же ошибок, сколько и другие автоматические подписи, он не обязательно сохраняет эти ошибки. То есть он может подумать, что кто-то сказал «Барби», пока не услышит, что говорящий следует за этим словом с «куклы», после чего он вернется и исправит «Барби» на «Барби».

Из-за этого исправления субтитры в реальном времени работают немного медленнее, чем субтитры YouTube, поэтому иногда их можно складывать, чтобы получить четыре строки одновременно.

Еще одно преимущество - возможность легко переключать настройки цензуры. YouTube по умолчанию скрывает оскорбительные слова, потому что его генератор иногда обнаруживает слова, которые не сказал говорящий, а поскольку YouTube заменяет телевизор для маленьких детей , им нужно быть осторожными. Тем не менее, взрослым неудобно входить в YouTube Studio на настольном устройстве, чтобы изменить настройки.

Live Caption имеет такой же шанс случайно интерпретировать невинный язык как оскорбительный, но, как и в настройках цензуры преобразования речи в текст в Android , его проще переключить. Чтобы получить доступ к настройкам интерактивных субтитров, перейдите в « Настройки»> «Специальные возможности»> «Улучшение слуха»> «Живые субтитры» . Там вы увидите возможность включить или отключить Скрыть ненормативную лексику .

Живые субтитры для видео и голосовых чатов

В настоящее время Live Caption не работает для голосовых вызовов. Live Caption работает, обнаруживая речь в звуке, воспроизводимом устройством, но не активируется речью, исходящей от телефона или голосового вызова. К сожалению, не имеет значения, является ли голосовой вызов также видеозвонком.

Связанный: Как добавить скрытые субтитры к видеозвонку

Встроенное программное обеспечение в приложениях голосового чата, вероятно, надолго станет лучшим выбором. Распознавание речи борется с распространенными проблемами голосового чата, такими как фоновый шум, эхо и наложение речи.

Сервисы, созданные специально с учетом этих проблем, вероятно, будут работать намного лучше, чем те, которые созданы в первую очередь для профессионального контента, такого как видео и подкасты.

Живые субтитры можно улучшить

Мы надеемся, что по мере развития технологии преобразования речи в текст программное обеспечение, такое как Live Caption, будет улучшаться. Сам факт того, что служба субтитров теперь включена как встроенная функция Samsung и растущего числа других телефонов Android, является хорошей новостью для доступности.

На данный момент службы автоматических субтитров, такие как Live Caption, по-прежнему являются плохой заменой правильно подготовленным субтитрам, и, вероятно, потребуется много времени, чтобы улучшить эту технологию, прежде чем она сможет более активно конкурировать.

Между тем, лучше всего продолжать настаивать на профессиональных субтитрах на аудио носителях и использовать некоторые из уже доступных сайтов для загрузки субтитров для телешоу и фильмов.