|
楼主 |
发表于 2018-11-25
|
各大厂商来研发,VR音频都有了哪些解决方案?
在VR中,用户处于场景中心,可以自主选择观看的方向和角度。用户想要通过头显加耳机的方式感受VR体验,就需要在双声道立体声输出的耳机上听到来自各个方向的声音。另一方面,用户时常需要来回转动头部或有大幅度的身体运动,因此还要考虑身体结构对于声音的影响。如此一来,就需要解决两个关键的问题,一个是怎么放,另一个是怎么听。
首先,声音怎么放?开发者在VR中制作声音时,就要以用户为中心,在整个球形的区域内安排声音位置。当其确定某一方向为基准后,画面内容与用户位置也就相对确定了。以此来定位的话,既有水平方向的环绕声,也有了垂直方向上的声音。通过水平转动和垂直转动这两个参数,开发者就能控制视角在360度球形范围的朝向,以及随时与画面配合的声音的变化。
另一方面,用户只有一副耳机,该如何实现电影院里杜比全景声的效果呢?这里面用到一项技术叫做HRTF(Head-related Transfer Function,头部传送函数),该技术能够计算并模拟出声音从某一方向传来以及移动变化时的效果,有点类似于一个滤波器。其对原始声音进行频段上的调整,使其能更接近人耳接收到的听感效果,并通过耳机来回放。
而基于这样的原理,有不少的厂商已经进行了尝试来创造VR中的音频。
Valve
Valve曾收购了音效公司Impulsonic,Impulsonic有一个基于物理的声音传播和3D音频解决方案,名为“Phonon”。去年,Valve开放了Photon音效工具的后续产物Steam Audio SDK。该方案能够通过空间音效增强VR沉浸体验,允许游戏的音频与场景几何体建立交互与反弹回音,从而增强体验。Steam Audio支持Windows、Linux、macOS和安卓等多个平台,也不局限于特定的VR设备和Steam。
谷歌
2017年,谷歌也与音频公司Firelight和AudiokineTIc合作,推出了一个VR音频插件。开发者利用该插件可以根据虚拟空间大小、材料以及对象位置的改变来调整声音,营造更加逼真的氛围。该插件可以无缝集成到Unity和Unreal引擎中,使用时开发者只需要对3D音频进行简单调节,能够很轻易地创造空间音频。
AMD
与英伟达类似,2016年8月,AMD曾发布了一项名为TrueAudio Next的实时动态声音渲染技术,让虚拟现实中的声音和画面更为同步。该技术同样使用物理方式模拟,让渲染的声音无限接近真实环境的声音,在虚拟建模中进行多次反射,利用Radeon Rays光线追踪技术让系统辨别VR空间布局并定位空间中的物体。AMD已将该技术开源。
NVIDIA
到2016年5月,NVIDIA推出了一个专门用于VR场景,并是基于物理技术的声学仿真技术“VRWorks Audio”。该技术借鉴了光线追踪渲染的思路,充分考虑了3D场景的渲染,通过将音频交互映射到3D场景中的物体上,使音频听起来更加自然。
用户不断移动,能够听到回声的变化以及带来的空间感,除了能够判断声音是由该物体发出之外,还能判断出物体的方向、远近等等更多的信息。
Oculus
早在2014年,Oculus就已授权VisiSonic的RealSpace 3D音频技术,并将其融入Oculus Audio SDK中。通过跟踪器上所发来的空间信息来处理声音信息,让听者觉得该声音是从这个物体中发出来的。这项技术非常依赖定制的HRTF,通过耳机来再现精准的空间定位。
已有的技术确实可以实现VR音频,用户也可通过其辨别方向和距离。但是VR音频技术要求的,不仅仅只是提供环境中物体的位置信息,而是需要能反馈出更多的空间环境状态。
以游戏为例,当场景中的光线越来越暗,玩家的视觉必定受到限制,这个时候就要靠音频来确定环境状态。脚步声、风声、动物的叫声等都能为玩家提供信息,诱导其下一步的行动和交互。因此,精准有效的音频技术在VR中特别重要,不仅仅是游戏、视频,在其他例如教育、社交等领域,VR音频技术还需要进一步的成熟。 |
|