既然无法出门蹦迪，那就用 XR 技术建立一个虚拟的表演空间

nosamid

既然无法出门蹦迪，那就用 XR 技术建立一个虚拟的表演空间

随着疫情的发展，人们开始互相隔离，俱乐部场景也变得触不可及。这次的事件为我们提出了一个问题：当无法在现实中持续音乐场景时，我们应该怎么办？音乐科技博客 CDM 的主理人 Peter Kim 认为，或许 XR（扩展现实）技术就是答案。


无论疫情是否出现，不可否认的是，数字媒体已经成为了我们的生活。我们的生活空间跨越了物理和虚拟世界，而 XR 技术可以看做是这两者时间的一种调解。随着所有这些网络广播和视频会议已经成为常态，普罗大众已经接受了这种虚拟与现实的结合。
但对于音乐表演来说仍然有个问题 — 越来越多的音乐人开始使用直播这样的媒介，然而身处的空间，比如你家的房间，很多时候并不符合艺术的表达。相较于 VR，XR 这样的技术也许更适合用于音乐表演。虽然也需要依靠相机，但这项技术可以将表演者置身于一个虚拟构建的空间中，并且视点在空间中是自由的。如果这对于你来说过于复杂，你只需把 XR 看做是相机视角的替代方案。

为了体验这项技术对于音乐表演的意义，Peter Kim 只身前往新泽西州的塞考库斯。这是一个狭小的空间，只不过这里拥有需要这项工程所需要的一切。这里提供了一个舞台，通过真实空间的投影，再进行叠加混合，得以让现实世界的led墙壁图像在计算机上的虚拟空间中延伸，获得无缝的、身临其境的画面。这与在绿色屏幕上或做色度键是非常不同的感觉。
虽然我们无法看到最终渲染的效果，你可以通过现场工作的视频了解它的工作流程：

原 YouTube 链接：https://youtu.be/HVgqWeVGroM

此次项目的必要组件：
Stype – 相机追踪
disguise gx 2c – 媒体服务器 (针对 Notch 进行优化)。
Notch – 以 disguise 的媒体软件原生托管的实时内容。
Unreal Engine – 运行第二台设备对 disguise 进行馈入。
针对虚幻引擎设计的 BOXX 硬件, 搭载 NVIDIA RTX 6000 显卡。
SideFX Houdini 运行视觉效果。

相机追踪在这项技术中并不可少 — 为了用虚拟图像扩展光学捕获的图像，就好像它是在相机内一样，就有必要对每个微小的相机移动进行实时跟踪。你可以在相机振动之类的东西上看到部分的精确度 — 在虚拟视频中，最微小的抖动也会有相应的移动。你的第一反应可能实际上是它不起眼，但这就是问题所在 — 你的眼睛接受它认为是真实的东西，即使它不是真的。

媒体服务器通常只负责输出视频。在这里，disguise 服务器需要在处理视频信号的同时处理数据和输出映射 — 隐藏 Stype 相机跟踪数据和视频之间的接缝，然后将控制数据传递给 Notch 和虚幻引擎，以便进行校准。它消除了物理光学相机和模拟计算机相机之间的差距，如此一来就能灵活的生成虚拟建筑。

虚拟建筑物体和环境的生成是通过在 Unreal Engine 虚幻引擎下运行 Houdini Digital Assets 实现的。HDA 允许 Houdini 引擎在其他软件中表达自己 — 不导入具体的图形，而是导入成品几何图形的概念，并在项目中对它们进行指定和构建。这有点像音乐人在合成器上写上随机的乐段，然后在通过接线进行衍生。这种建模方式最大的好处就是可以省下大把的渲染时间。

目前这种 XR 表演系统架构还处于一个相对于复杂的阶段，但它已经为什么展示了很多可能性。
首先，它能为我们提供一个更加 “真实” 的虚拟演出空间，类似盗梦空间 — 我们不在俱乐部，但我们可以在虚拟空间中构建一个俱乐部，并且让自己在这个虚拟的俱乐部中进行演出，观众们也可以更加 “身临其境” 的欣赏演出。

其次，这种技术能够实现特殊的舞台效果，比如让 DJ 在海里表演？目前 Holodeck 仍在开发这项技术，包括在虚拟环境中实现实时的 MIDI 控制，很快我们就能看到新的东西了。
虽然疫情让产生不安，但它让我们被迫解释虚拟与现实的关系 — 它提醒了我们，许多观众并不能亲自到场观看演出。虽然 XR 技术还有一些弊端，比如如何在虚拟空间中进行互动，但如何跨越距离将会是未来发展必须要解决的问题。