VR音频制作的软硬件工具都有哪些？

audioaz

VR音频制作的软硬件工具都有哪些？
　　VR技术重在打造一种虚拟的沉浸式感官体验，通过佩戴VR头显设备，用户能够自由地晃动头部，且头显设备中的画面也能够伴随头部的晃动实时地变换视角，从而使用户看到360°的虚拟全景画面。在当前技术条件下，该技术能够提供较为逼真的视觉沉浸感。

　　伴随着VR视频技术的发展，VR音频制作也需要相应地采用三维环绕声格式。与当前电影行业广泛采用的杜比全景声技术相类似，VR音频也是在水平面声场的基础上加入了高度信息，它是通过与视频一样的头部追踪技术，使用户在做转动头部等动作时能够听到声音变化的实时反馈，从而使其最大限度地还原用户在现实生活中的听觉体验。因此，耳机还放也成为VR声音还放的基本模式。

　　对于广播领域来说，当下听众采用移动设备和耳机收听广播节目已成为一种较为主流的收听方式。在此契机下，如何运用VR音频技术及相应的制作方式，为听众创造沉浸式的声音体验便成为广播工作者的一项重要课题。笔者作为一名广播电台的录音师，希望通过VR音频技术使听众能够在传统立体声耳机上聆听虚拟的三维环绕声节目，感受沉浸式声音的魅力。

　　1 VR音频技术的相关概念

　　1.1

　　双耳录音技术（Binaural Recording）

　　双耳录音，通常也叫做人工头录音，是一种与常规立体声录音不同的录音方式。与物体本身发出的声音相比，人们真正感知的声音受到很多因素的影响，如头部、耳廓和耳道等身体结构就是一个很重要的影响因素，也是辨别声源方向的生理基础。人工头录音技术模拟人耳听觉的外部模型，在人工头模型的仿真耳道外部入口处或耳道内部末端放置传声器音头，以这样的方式录制得到模拟左/右耳听到的声音，并最终通过耳机重放获得与人耳听觉类似的拾音效果。

　　当然，双耳录音技术在拾取较为自然的人耳听觉感受外，也存在一定的局限，这种方式录制下来的声音是“固定”的，即只记录了当时特定地点、特定方向的声音信号，无法满足VR内容中根据用户头部运动而产生声音变化实时反馈的需求。然而，这对于当前广播沉浸式音频节目的录制是一种简便易行的方式，因为广播作为一种纯声音的媒体，现在几乎没有听众会在耳机收听节目的同时佩戴专门的头显或头部定位设备。在实际的节目制作过程中，笔者认为这种沉浸式节目制作方式最大的问题，体现在声音高度信息定位不明，听音者很难分辨出声音来自于听音者头部上方还是下方。

　　1.2

　　头部相关传输函数（HRTF，Head Related Transfer Functions）

　　人们对声音方位感的判断主要来自于四个因素：时间差、声级差、人体滤波效应和头部晃动。HRTF是声源到达鼓膜的传输路径所产生的频率响应的集合，是综合了时间差、声级差和人体滤波效应等因素的声源定位模型。它可以简单地理解为“原始声音与人耳实际接收到的声音之间的差异”，而在实际运用中，HRTF 可以想象成是一个滤波器，对原始声音进行频段上的调整，使其接近人耳接收到的听感效果。

　　用双声道立体声耳机来获得三维环绕声效果的基本原理，是将制作完成的三维音频进行HRTF编码，将其转换成携带有HRTF的双声道虚拟环绕声信号，并通过耳机听音恢复原始的三维声音空间信息，获得三维沉浸式环绕声效果。

　　1.3Ambisonics技术（FOA、HOA、A-Format、B-Format、AmbiX、FuMa）

　　Ambisonics技术是一种球形（Full-Sphere）的三维环绕声技术，研发于20世纪70年代。从录音方式来看，该技术可以理解为是 M/S 立体声录音制式的三维扩展，采用以一定方式组合的多个传声器音头阵列来记录具有高度和深度信息的多轨声音信号，并最终通过若干个声道的信息运算去形成一个三维的全景声场。这项技术运用最为广泛及成熟的是使用四个声道的一阶Ambisonics（First Order Ambisonic，FOA）。

　　一阶Ambisonics传声器包含4个心形指向的传声器音头，分别指向左前（LF）、左后（LB）、右前（RF）、右后（RB），所拾取的原始信号叫做A-Format，通过4个声道的叠加或反相叠加，可以得到B-Format（见图1）。B-Format格式包含4个通道的信息，即全方向的W信号、前后深度的X信号、左右宽度的Y信号和上下高度的Z信号，从而可形成一个包括水平面和垂直面三维信息的完整三维声场。



　　图1 一阶Ambisonics传声器从A-Format转换为B-Format示意图

　　同时，由于一阶Ambisonics技术的缺点是空间解析度不够好，为此也出现了更高阶的版本（Higher Order Ambisonics，HOA），可以使用更多通道的声音信息来计算声场。通道数和阶数的关系用公式（1）来描述。

　　通道数=（阶数+1） （1）

　　因此，二阶Ambisonics包含9个通道，三阶Ambisonics包含16个通道，四阶Ambisonics包含25个通道等，依次递增，这会使系统输出的数据量显著增加，运算的复杂程度也大为提高。

　　此外， B-Format格式有两种标准， 分别为AmbiX和FuMa（Furse Malham），以一阶Ambisonics为例，两者在四轨音频通道的排列及参数方面存在差异，AmbiX的排布为WYZX，而FuMa的排布为WXYZ，不同的设备或平台可能会采用不同的格式，因此，在制作和导出Ambisonics音频文件时需要针对不同设备或平台做出相应的调整。

　　Ambisonics技术目前在VR领域直接能够作为一种音频文件格式用于音频保存和流通，并且有些平台已支持超过一阶的Ambisonics文件，例如：Youtube支持一阶AmbiX B-Format音频，Facebook 360°支持二阶AmbiX B-Format音频等。与双耳录音技术相比，Ambisonics技术在三维空间的表现以及声音元素的定位方面有着明显的优势，尤其由于高度信号的拾取使其在高度定位上也有了更好的分辨度。

　　2 VR音频制作的软硬件工具

　　2.1

　　双耳人工头传声器

　　有关双耳录音的研究早在20世纪60/70年代就已开始，Neumann 公司在当时也推出过成熟的人工头录音产品（如 Neumann KU 80/81）。目前，市场上的主流产品包括Neumann KU-100（见图2）、3Dio Free Space（见图3）等。



　　图2 Neumann KU-100



　　图3 3Dio Free Space

　　2.2

　　Ambisonics传声器

　　目前市场上比较成熟的Ambisonics传声器有：Sennheiser的Ambeo VR Mic（见图4）、TSL SoundField ST450 MKii，以及可支持高达四阶录音的MH Acoustics EigenMike em32传声器等。



　　图4 Sennheiser Ambeo VR

　　2.3

　

audioaz

声像定位、格式转换、双耳渲染监听插件

　　随着VR产业的发展，越来越多的插件开发商投入到VR音频插件的研发队伍中来，笔者在此无法一一列举，仅选择几款笔者常用的插件进行简要介绍。

　　2.3.1 声像定位插件

　　（1）Wave Arts Panorama

　　Wave Arts Panorama（见图5）能够便于用户使用普通的立体声文件来制作逼真的三维音频场景，用户可在三维空间中移动声音左右、上下、前后、以及远近的位置，并将HRTF技术与声学环境建模相结合，为音频增加墙壁反射、混响、距离以及多普勒效果。其优点是包括一个串音消除器模块，可以将输出的音频转换成可在传统立体声扬声器播放的声音；缺点是仅能输出立体声格式音频（双耳渲染监听）。



　　图5 Wave Arts Panorama

　　（2）Plugin Alliance dearVR Pro

　　dearVR Pro（见图6）在功能上与Panorama有些类似，其优点在于声学空间的塑造，在混响模块中加入了45种虚拟声学环境预置，并且能够实时地在反射声模块中建立一个声场空间模型。此外，输出格式也能够选择Binaural（双耳渲染）、一阶至三阶AmbiX、一阶至三阶FuMa以及正常的立体声等多种格式，从而满足完整的VR音频制作需求。缺点是在声像定位方面仅支持单声道和立体声音频。



　　图6 Plugin Alliance dearVR Pro

　　（3）Noise Makers Binaural

　　Noise Makers Binaural（见图7）是一款双耳音频声像定位插件，它能够调整单声道、立体声，以及5.1和7.1环绕声音频的声像并最终转换为双耳音频输出。



　　图7 Noise Makers Binaural

　　（4）Noise Makers Ambi Pan HD

　　Noise Makers Ambi Pan HD（见图8）是一款在三维声场中调整单声道、立体声，以及5.1和7.1环绕声音频声像的插件，支持最高为三阶Ambisonics的AmbiX B-Format格式输出。缺点是声像的设置和调整选项较少。



　　图8 Noise Makers Ambi Pan HD

　　（5）Waves B360 Ambisonics Encoder

　　Waves B360 Ambisonics Encoder（见图9）在操作上与Ambi Pan HD类似，但是B360能够根据声源的声道格式灵活地调整各声道间的声道关系（如5.1声道中能够调整左前/右前立体声声场的宽度以及左后/右后立体声声场的宽度，7.1声道以此类推）；缺点是仅支持一阶Ambisonics格式输出。



　　图9 Waves B360 Ambisonics Encoder

　　2.3.2 格式转换插件

　　（1）Sennheiser Ambeo A-B

　　Sennheiser Ambeo A-B（见图10）是专为Sennheiser的Ambeo VR Mic传声器提供的，Ambeo VR Mic能够输出A-Format格式的声音信号，通过Ambeo A-B插件将原始的来自传声器四个传声器头的信号转换为Ambisonics的B-Format声音信号。



　　图10 Sennheiser Ambeo A-B

　　（2）Waves FuMa及AmbiX转换插件

　　Waves FuMa及AmbiX转换插件（见图11）能够实现B-Format两种标准之间的相互转换。

　　图11 Waves FuMa及AmbiX转换插件

　　2.3.3 双耳渲染监听插件

　　（1）Noise Makers Ambi Head HD

　　Noise Makers Ambi Head HD（见图12）可支持将最高为三阶的Ambisonics AmbiX B-Format音频渲染为双耳立体声音频进行监听，内置有专为耳机声音精准还放设计的HRTF滤波器。



　　图12 Noise Makers Ambi Head HD

　　（2）Waves Nx-Virtual Mix Room

　　Waves Nx-Virtual Mix Room（见图13）除了具备采用立体声耳机监听Ambisonics音频的能力外，还能够直接监听7.1、5.1及5.0环绕声音频。此外，在配套使用Waves出品的Nx Head Tracker头部定位追踪设备后，还能够实现完整的VR音频监听功能。



　　图13 Waves Nx-Virtual Mix Room

zgypw

:victory:分享，谢谢楼主啊