什么是沉浸式音频？

xatbh

沉浸式音频，也被称作空间音频、3D音频或360度环绕声。它是呈现声音的一种方式，无论是用于音乐、电影、游戏、播客、有声读物还是其他种种，其效果都会比传统的立体声音频更具沉浸感。换句话说，身处真实世界的你能够听到来自四面八方的声音，而沉浸式音频便是在模拟这种来自前方、后方、两侧甚至下方的真实听觉体验。自20世纪50年代起，不同类型的沉浸式音频格式便开始尝试在不同程度上复现真实世界中声音的这种全方位性质，并取得了不同程度的成功。

近几年来，随着新技术的出现与发展，人们再度燃起了探索沉浸式音频的兴趣。如今，你可以通过一些工具，让你能够仅通过自己的耳机，便制作出极其真实的沉浸式音频声景。在学习探索这些工具与技术之前，我们需要先了解一下沉浸式音频格式多年来的发展历程。





多声道音频发展简史
让我们回到音频技术发展初期，那是属于单声道的时代。你一定听过托马斯·阿尔瓦·爱迪生将《玛丽有只小羊羔》通过第一台留声机播放出来的故事。从技术角度来讲，“单声道”指的是单条音频信号通道，其由单个扬声器所播放。不过在现如今的语境下，单声道更有可能是由错觉而感受到的单个声音信号源。当两个扬声器播放相同的音频信号时，就会让你产生单声道的听觉体验——也就是在立体声系统上创造出声音来自一个不存在的中央扬声器的错觉。如果你使用耳机进行聆听的话，你会感觉到声音是从你的脑袋里发出的。

单声道的繁荣发展一直持续到1931年。彼时，受到与妻子前往电影院观影的启发，全能型天才艾伦·布鲁姆莱茵（Alan Blumlein）无意间发明了立体声技术。随后，艾伦还发明了大量与之相关的技术，其中许多技术直至今天仍在使用。

在音频发展史中你可以发现这样一个有趣的现象——沉浸式音频的发展与电影技术进步息息相关。立体声技术使得你能够将声音定位在一对扬声器间的任何位置，通过技术手段有时甚至能够让你感受到声音出现在扬声器的前方或后方。

通过改变声音信号输入左右扬声器的量，你便能够创造出声音是从扬声器之间任何位置所发出的错觉体验。如果输入左右扬声器的信号电平是相等的，那么就能创造出声音从中间发出的听觉体验。通过一些高级技术处理，你甚至能够将你的声音“移动”到左右扬声器的外侧。

立体声技术用了足足30年的时间才在家用领域普及开来。不过有了从单声道发展到立体声的经验，环绕声技术很快便在20世纪50年代发展了起来。最初是四声道技术：除却前方一对立体声扬声器外，在听众后方两侧约5°的位置再放置一对扬声器。如果你惊叹于居然能够通过黑胶唱片上的单条沟槽播放出立体声，这不算什么——通过特制的接收器与解码器，在四声道技术的“鼎盛时期”你甚至能在家中通过黑胶唱片感受到四声道的听觉体验。

还记得刚刚提到的电影技术与音频发展之间的联系吗？正是1979年由弗朗西斯·福特·科波拉导演的《现代启示录》这部经典影片，推动了音频技术由四声道转变为5.1与7.1等基于声道的环绕声格式。这些音频格式在上世纪70年代末成为了行业标准，并一直沿用至2010年前后。同样在电影技术发展的推动力下，皮克斯动画工作室在其2012年的影片《勇敢传说》中开创性地采用了杜比全景声技术；这项音频技术将环绕声推向了新的高峰，其为音频领域引入了顶部声道和基于对象的动态音频等技术概念。


电影中的THX
1983年，乔治·卢卡斯为《星球大战3：绝地归来》制定了THX认证（Tomlinson Holman Experiment）。这是一套由汤姆林森·霍尔曼所开发，用于影院认证的的音频技术与标准。通过THX®认证的影院，其音响效果能够尽可能接近电影音频制作团队在混音时所听到的效果。THX认证包含可接受的背景噪音水平、声学处理、频率响应以及房间混响时间等标准的检验。

在这篇文章中，我们只能如浮光掠影般将这些历史一带而过。如果你对这方面感兴趣的话，可以点击阅读《Sonic Imaging: A Brief History》这篇相关深度文章。接下来，我们将继续探寻另一种尚未涉及的沉浸式音频聆听方式：双耳声（binaural sound）。



什么是双耳声？
双耳声，指的是仅通过一副普通的耳机，便能够体验沉浸式音频的一种方式。THX Spatial Audio在双耳声制作领域钻研多年，是THX Spatial Creator插件（现已在Plugin Alliance在线市场上推出）背后的技术驱动力。人们已经花费了几十年去研究双耳声的相关课题。介于该课题的复杂性，本博客今天不会涉及过深，但我们可以了解一些双耳声的关键工作原理。

双耳声的基本概念其实很简单：既然人只有两只耳朵，那么我们不应该能够只使用两个声道，便可以体验来自任何方向的声音吗？这样的话，我们是否便可以不必依赖像5.1或是9.1.4这样设置复杂的系统了？事实上，我们是可以这样理解的；但要实现我们的愿景，还有一些重要的因素需要考虑进来。首先，人类是如何判断声音是从上方还是后方传来的呢？该因素很大程度上与所谓的“头相关传输函数（HRTF）”相关联。你可以将HRTF理解为描述“声音在到达鼓膜前，你的头部和耳朵对声音做了什么？”的一种花哨说法。

人类定位声音的方式涉及如下几个因素：首先，你的耳朵之间是有间距的。所以当声音从一侧传来时，由于音速的存在，其到达两只耳朵的时刻会有时间差。其次，某些高频在穿过你的头部时会被阻隔，此时与声源相反的那只耳朵所接收到的音频信息就会有所缺失。最后，你的外耳或者说是耳廓的形状也会对不同方向传来的声音进行反射、吸收和过滤，从而影响你的听觉。

影响你如何感知声源方向与整体环境的另一个因素是真实空间内的声学反射。每个物理空间都有自己独特的声学“指纹”，人类可以通过它来“翻译”整体空间的大小、形状，以及声源在空间中的位置。将上面我们提到的所有这些主要因素与世界上最最复杂的音频信号处理器——大脑——相结合，你便可以仅通过两只耳朵，就能够准确定位来自任何方向的声音，并推断出声音所在空间的许多相关信息。





如何在耳机中制作空间音频？
也许，最真实的双耳声制作方式便是直接进行录制工作。事实上，你可以在市面上购买到一些小型麦克风，它们能够像耳塞一样戴在耳朵里，你可以用它们来录制周围的声音。由于这种麦克风置于头部两侧的耳朵中，所以录音素材对你自己来说应该是非常拟真的。如果我们忽略每个人头部与耳部的差异，那么像这样录制出的音频内容其实已经足以向其他听众传递足够的真实感。下面的视频向你展示了YouTube频道The Sound Traveler创作的相关视频，听听看其中的音频会带给你怎样的听觉感受。



尽管人类感知声音方位的方式很有趣，但我们并不能在多轨混音创作场景中直接应用这种原理。但是，想象一下，如果有一个符合人类听觉感知的通用模型（HRTF），且该模型可以适用于任意虚拟的空间中会是怎样一番光景。这将让你能够在3D空间中自由设定声源方位，且其他人也可以用自己的耳机体验到你的制作效果。是的，THX做到了，通过THX Spatial Creator插件，我们能够赋予创作者这种关乎于空间的制作能力。

你可以使用任何耳机或耳塞聆听下面的最新THX宣传片，感受THX的空间音频效果。如果你从未了解过相关资讯，我强烈推荐你去看看卢卡斯影业发明THX Deep Note的故事，点击链接查看我个人最喜欢的故事之一。




什么是THX Spatial Creator？
THX Spatial Creator是一款空间处理效果器，其通过将精心选择的HRTF模型与高质量的房间反射引擎（沉浸式混响）相结合，让使用者拥有能够在虚拟空间中自由选择声源方位的能力。与所有其他双耳声音频内容一样，THX Spatial Creator所制作的音频内容在耳机中的体验是最佳的；但通过运用你的经验、技术与灵感，你亦可在传统立体声回放系统上感受到空间效果的魅力。自然，换句话来说一些3D元素只能通过耳机体验到。


使用THX Spatial Creator进行混音时没有什么繁文缛节，或是绝对正确的方式方法；只需记住一条你便学会了它的使用方法：它是一款极具创意的灵感工具。你可以这样理解使用它的场景：我们一般不会对混音中的每个元素都应用失真、合唱或者颤音效果，因为大部分情况下这样的处理方式并不会产生好的效果。事实上，只在少数特殊元素，或是一些悦耳的部分上应用空间处理效果，可能会让你的混音更加令人印象深刻。

让我以Hayward的《Where You Belong》的混音工程来作示例，我将向你展示我是如何在该工程中运用空间处理效果的。在开始之前，我们还有两点注意事项：

1.如何身边有耳机的话，建议使用耳机进行聆听。我们的素材示例可以在正常的扬声器上播放，但一些位于你后方或上方的元素在耳机中会更易被感知到。

2.THX Spatial Creator被设计为一款单声道输入/立体声输出的插件。所以如果你的音频素材是立体声的话（如合成器，或是添加混响、乒乓延迟等效果的素材），你需要谨慎处理它们。我们将在下文的实践过程中分享一些技巧以应对这种情况，不过提前知晓总是好的。