Пространственный звук через наушники: как наука помещает в вашу голову 9 динамиков и сабвуфер
Пространственный звук набирает обороты. Хотя цель предложить более захватывающий, 3D-подобный опыт прослушивания, возможно, родилась в кинотеатрах, большая часть разговоров о пространственном звуке переключилась на музыку, в частности, на относительно новую доступность музыкальных треков Dolby Atmos Music через сервисы потоковой передачи музыки.
Привлекательность пространственного звука не является тайной. Когда вы объединяете один из первых новых способов прослушивания музыки со времен стерео — в сочетании с потрясающей маркетинговой мощью Apple — вы получаете множество людей, желающих его попробовать.
Однако остается загадкой, есть ли разница между пространственным звуком одного потокового сервиса и другого. Скажем, об Apple Music и Amazon Music. А как насчет ваших наушников — влияют ли они на звучание пространственного звука?
Ответы — да и да, но, возможно, не по тем причинам, о которых вы думаете. Чтобы объяснить это, давайте более подробно рассмотрим, что происходит за кулисами, когда вы слушаете пространственный звук в наушниках.
Прежде чем продолжить, вот учебник по пространственному звуку , в котором объясняется, что это такое и как его можно ощутить различными способами.
Комната, полная динамиков в твоей голове
Форматы пространственного звука, такие как Dolby Atmos, являются расширением многоканального объемного звука (например, Dolby Digital), предназначенного для прослушивания в кинотеатре через динамики, расположенные по всей комнате. Эта теоретическая комната имеет переднюю, заднюю, две стороны и потолок.
Музыка, созданная в Dolby Atmos, начинается с «кровати» из 9.1 каналов, обычно сконфигурированной в схеме 7.1.2, которая соответствует динамикам спереди (слева, по центру, справа), по бокам (объемный левый/правый), сзади (левый/правый), потолок (высота левый/правый) плюс канал низкочастотных эффектов (LFE), отправленный на сабвуфер. В дополнение к этим девяти каналам, которые могут воспроизводить звук различной громкости, Dolby Atmos добавляет до 118 звуковых «объектов», которые могут свободно перемещаться в любом месте полушария, охватываемого этими девятью динамиками.
Когда вы слушаете пространственный звук через наушники, вы слышите тот же саундтрек из 9.1 каналов и 118 объектов, что кажется парадоксом. Как два маленьких динамика, прикрепленных к вашей голове, могут делать то же самое, что и девять динамиков, расположенных вокруг вас?
Обмануть свой мозг
Ответ можно найти в психоакустике — области науки, которая изучает, как мозг интерпретирует звуковую информацию и реагирует на нее. Сюда входит процесс, известный как локализация звука — то, как мозг использует звуковые сигналы, чтобы определить, откуда исходит звук и насколько близко или далеко может находиться источник звука.
Мы локализуем звук, синтезируя высоту и громкость. Но самая большая подсказка — это то, как звук достигает каждого из наших ушей. Мы чрезвычайно чувствительны даже к малейшим различиям во времени. Если бы звук достиг нашего левого уха всего на одну миллисекунду раньше, чем правого, наш мозг знал бы об этом и отреагировал бы соответствующим образом.
Используя психоакустические модели (и набор стереонаушников), мы можем моделировать направление и расстояние до звуков реального мира, тщательно контролируя, как эти звуки достигают каждого уха.
Бинауральный рендеринг
Процесс использования пространственного аудиоформата, такого как Dolby Atmos, и преобразования его с использованием принципов психоакустики в набор звуков, которые можно передавать через наушники, известен как бинауральный рендеринг.
Если вы когда-либо слушали Dolby Atmos, DTS:X или Sony 360 Reality Audio (360RA) с помощью наушников, то в какой-то момент цепочки воспроизведения для создания этого впечатления использовался программный алгоритм бинаурального рендеринга. То же самое относится и к видеоиграм со саундтреками 5.1 или 7.1 — их можно рендерить в бинауральном режиме с помощью таких технологий, как THX Spatial Audio или Immerse Gaming Hive .
Самое интересное в бинауральном рендеринге то, что он работает на любых стереонаушниках или наушниках-вкладышах. Независимо от того, проводные или беспроводные, независимо от того, потратили ли вы 10 или 1000 долларов, все стереогарнитуры совместимы с бинауральным пространственным звуком. В комплекте наушников может специально рекламироваться, что они «работают с пространственным звуком», но это все равно, что сказать, что комплект из четырех автомобильных шин «работает на дорогах с твердым покрытием» — все они так и делают.
Пространственный звук: все это за пределами вашей головы?
Итак, теперь, когда я только что объяснил, что бинауральный рендеринг может обмануть ваш мозг, заставив его думать, что он слушает полноценную 7.1.2-канальную звуковую систему с использованием любых старых наушников — другими словами, все это в вашей голове — я собираюсь противоречить самому себе. Частично.
То, как каждый из нас интерпретирует сигналы локализации звука, во многом зависит от формы нашей головы. В частности, форма и расположение наших ушей. Физиология нашей головы создает уникальный отпечаток (аудиоотпечаток?) на звуках, которые достигают наших барабанных перепонок — нет двух одинаковых. С раннего детства, когда наш мозг развивает способность локализовать звук, он использует этот аудиоотпечаток в качестве шаблона.
При математическом описании и использовании для фильтрации звуков, поступающих в каждое ухо, этот аудиоотпечаток известен как « передаточная функция, связанная с головой » (HRTF).
HRTF являются ключевыми
Чтобы бинауральный рендеринг звучал как можно более реалистично, пространственный звук обрабатывается с использованием профиля HRTF.
Как вы, наверное, догадались, у всех нас есть уникальные профили HRTF. В идеальном мире мы бы провели 3D-сканирование головы и верхней части туловища и загрузили полученный профиль HRTF в Apple Music или Amazon Music (или любое другое приложение, поддерживающее пространственный звук). Алгоритм бинаурального рендеринга каждого приложения затем будет использовать этот профиль HRTF для создания набора звуков, которые наш мозг интерпретирует с высокой степенью реализма.
Мы еще не совсем там. В отсутствие загружаемых персонализированных HRTF каждое приложение для пространственного аудио использует общий HRTF. Как следует из названия, эти общие HRTF составлены из сотен отдельных HRTF и позволяют получить приблизительное представление о том, как звуки попадают в наши уши. Чем ближе ваш личный HRTF к этому среднему HRTF, тем более реалистичным будет звучание пространственного звука.
Общие HRTF также используются для пространственного определения стереоконтента или улучшения пространственного звука с отслеживанием головы. Если ваше музыкальное приложение, беспроводные наушники или беспроводные наушники поддерживают режим пространственного звука, его можно использовать для придания стереозвуку дополнительной глубины. А если в ваших наушниках есть встроенные датчики, отслеживающие движения головы, они могут генерировать пространственный звук с отслеживанием движения головы для еще более реалистичного ощущения от прослушивания, как в комнате.
У кого лучший HRTF?
Любопытно, что хотя каждый бинауральный рендерер использует общий HRTF, не все они используют один и тот же общий HRTF. Некоторые из них, например Amazon Music и Tidal, используют общий HRTF, предоставляемый Dolby — он встроен в механизм бинаурального рендеринга Dolby Atmos, включенный в эти приложения, — тогда как Apple Music использует собственный универсальный HRTF, разработанный Apple.
По определению, каждый универсальный HRTF будет более подходящим для некоторых людей, чем для других, точно так же, как набор беспроводных наушников подойдет одним людям лучше, чем другим. Будет ли HRTF Apple звучать для вас лучше, чем Dolby, будет зависеть от того, насколько близко вы им соответствуете. Единственный способ узнать — попробовать оба варианта.
На шаг ближе к реальности: персонализированные HRTF
Хотя полные анатомические 3D-сканы являются Святым Граалем индивидуальных HRTF, некоторые компании придумали промежуточный шаг, который дает нам простой способ выйти за рамки обычных HRTF. Apple называет свою версию «персонализированным пространственным звуком». Если у вас iPhone X или новее (кроме моделей SE) под управлением iOS 16 или новее, вы можете использовать встроенную в телефон селфи-камеру TrueDepth, чтобы сделать 3D-фотографии передней части лица и каждого уха. Это та же технология, которую Apple использует для сканирования вашего лица при использовании FaceID для разблокировки телефона.
К сожалению, созданный таким образом персонализированный HRTF можно использовать только в сочетании с некоторыми беспроводными наушниками и наушниками Apple AirPods или Beats — это не повлияет на то, как вы слышите пространственный звук при использовании любых других устройств.
Sony делает нечто подобное в приложении Sony Headphones. Если вы купите комплект наушников Sony с поддержкой 360RA, вы сможете сфотографировать каждое ухо и загрузить их в приложение.
Фотографии оцениваются и используются для создания персонализированного файла HRTF, который передается в музыкальные приложения на вашем телефоне, которые транслируют треки Sony 360RA. По состоянию на март 2024 года сюда входят Amazon Music, Tidal, Nugs.net и PeerTracks.
Создание виртуальной пространственной аудиостудии
Как бы ни было круто использовать бинауральный рендеринг как способ прослушивания пространственного звука в наушниках, для многих музыкантов и других авторов он стал неотъемлемой частью создания пространственного звука.
Как отмечалось в разделе «Комната, полная динамиков внутри вашей головы», форматы пространственного звука, такие как Dolby Atmos, созданы для прослушивания через громкоговорители. Но создание студии версии 7.1.2 или выше, оснащенной соответствующей акустической обработкой для устранения эха и других нежелательных эффектов, может стоить тысячи долларов.
Если вы многообещающий артист или человек, который хочет поэкспериментировать с пространственным звуком в качестве хобби, это может оказаться непомерно высокой инвестицией. Но благодаря бинауральному рендерингу все, что вам нужно, — это приличный комплект наушников и подходящее программное обеспечение, и у вас есть виртуальная студия прямо на вашем компьютере.
Примером программного обеспечения виртуальной студии является Immerse Virtual Studio Signature Edition от Embody. Он работает с любой рабочей станцией цифрового аудио (DAW), например ProTools, или как отдельный способ прослушивания бинаурального пространственного звука из множества других источников.
Immerse позволяет моделировать, каково это микшировать пространственный звук в некоторых из самых престижных профессиональных студий Dolby Atmos, включая студию Алана Майерсона 7.1.6, где Ханс Циммер сделал мастеринг многих из своих знаковых фильмов, и Lurssen Mastering, получившую Грэмми и Оскар. -победная студия 7.1.4.
Ключом к тому, чтобы слышать эти пространства для записи так, как если бы вы физически работали внутри них, является сочетание персонализированного HRTF Immerse, который вы можете создать практически на любом смартфоне, со специальными профилями наушников для десятков популярных потребительских и профессиональных проводных и беспроводных наушников. и наушники.
Эти элементы предоставляют художникам оптимизированную среду для разработки пространственного аудиоконтента. Однако, как обсуждалось ранее, у большинства людей нет оптимизированной среды для прослушивания пространственного звука. Программное обеспечение Embody позволяет переключаться на различные бинауральные средства рендеринга — с персонализированными HRTF и без них — чтобы вы могли слышать свои записи так, как это делают обычные слушатели. Программное обеспечение включает в себя собственный бинауральный рендерер Apple Music, а также может использоваться для бинаурального мониторинга Dolby с помощью того же общего HRTF, который используется в Tidal и Amazon Music.
В поисках золота
Вообще говоря, когда музыкальный лейбл предоставляет трек в формате Dolby Atmos потоковому сервису, такому как Apple Music или Tidal, это всего лишь одна версия. Это создает дилемму для художников.
Эта версия, скорее всего, будет записана в физической студии с конфигурацией динамиков Atmos или с использованием программного обеспечения, которое виртуализирует аналогичное пространство. Тем не менее, как мы обсуждали выше, такие переменные, как HRTF и конкретные используемые бинауральные рендереры, могут глубоко повлиять на то, как звучат эти треки, когда вы слушаете их на разных платформах.
У исполнителя может возникнуть соблазн настроить свой микс так, чтобы он звучал лучше всего при потоковой передаче через Amazon Music и бинауральном рендеринге с помощью общего HRTF, особенно если он считает, что именно так в конечном итоге будет слушать большая часть его аудитории.
Но это поставит под угрозу то, как оно звучит на полноценной звуковой системе Dolby Atmos 7.1.4 или даже на Apple Music с персонализированным HRTF.
Поскольку у большинства артистов нет ни времени, ни денег, чтобы вернуться в студию и сделать ремастеринг своих треков после их выпуска, им необходимо принять решение: создать версию, оптимизированную для наилучшего качества прослушивания в формате 7.1.4. и верить, что со временем, когда такие компании, как Apple и Amazon, улучшат свои бинауральные рендеры и поддержку персонализированных HRTF, качество наушников будет становиться все лучше и лучше, или создайте версию, которая не соответствует тому, как она могла бы звучать, чтобы создать оптимизированный микс для наушников для современных слушателей.
Очевидно, что это решение будет полностью зависеть от исполнителя и/или его лейбла. Однако я беспокоюсь, что такие программы, какпремия Apple за пространственное аудио, создадут стимул для всех в музыкальном бизнесе торопиться со своими пространственными миксами просто для того, чтобы получить обещанное финансовое вознаграждение.
Тем не менее, мы находимся в самом начале захватывающей эры аудио. Это изменит то, как создается музыка и как она звучит, когда мы ее слушаем — с использованием наушников или без них.