索尼黑科技——利用5G优势打造视频直播制作新方式

rossum

索尼黑科技——利用5G优势打造视频直播制作新方式



“建立在坚实技术基础上的创意娱乐公司”索尼，始终以“人”为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创新的娱乐表达方式。我们将定期为您介绍最具代表性的索尼黑科技创新成果，探索如何“用创意和科技的力量感动世界”。



本期将为您带来的是——基于5G网络的视频直播制作解决方案。




5G具有 "增强型移动宽带（eMBB）"、"超可靠低延迟通信（URLLC）"、"大规模机器类通信（mMTC）"等多项优势。在体育领域有着许多用途，其中索尼目前正在开发的技术领域之一是基于5G网络的实时流媒体解决方案，其中编码视频可以低延迟的方式发送到制作设施，或以数据流的方式传输到云服务。随着2019年在体育赛事上的两次成功实验，该技术正加速走向实际应用。




5G给体育直播带来的可能性



Q

在体育转播中使用5G有什么好处？

尹晟赫：在柏林马拉松比赛等大型马拉松赛事的转播过程中，现场拍摄的图像是通过连接在场地上空盘旋的飞机上的反射天线发送到转播车等编辑现场，但如果改用5G发送这些图像，就可以大大简化整个设置流程，降低成本和环境影响。



吉野茂：如果我们能够利用5G直接将数据发送到云端，那么体育场馆的摄像机就可以实现无线拍摄，从而实现更灵活的拍摄角度和位置。另一个优势是无论在何处，都可以在云服务上远程编辑和放送高质量的视频。



在柏林马拉松和美式橄榄球比赛中实验成功



Q

你们已经在柏林和德州进行了两次成功的实验。请你介绍一下2019年9月在柏林马拉松上进行的第一次5G实时广播实验的情况。

尹晟赫：在柏林马拉松的实验中，我们与移动网络运营商德国电信和视频制作公司Infront Productions合作，德国电信是索尼移动通信的重要合作伙伴之一，他们经常访问日本，与我们的高层管理人员进行沟通。作为索尼影像产品与解决方案的长期忠实客户，索尼与Infront Productions的关系也非常紧密。2019年3月，德国电信找到我们，询问是否愿意与Infront Productions一起参与柏林马拉松的5G直播PoC（概念验证）。这个时机再好不过了，因为索尼影像产品与解决方案公司和索尼移动通信公司刚刚开始正式确定这样的项目，正在寻找合适的机会进行测试，所以我们同意了，项目很快就启动了。



Q

实验的具体内容是什么？

吉野茂：第一个使用案例是广播工作流程。将来自放置在球场周围的专业摄像机的视频流通过使用Xperia 5G设备的传输盒发送到视频制作的外部广播（OB）轨道。第二个使用案例是在社交媒体上进行直播。由三台Xperia 5G设备拍摄的实时流媒体视频被发送到由索尼影像产品和解决方案公司开发的云服务 "虚拟制作 "进行视频切换，然后再在社交媒体上进行流媒体直播。


5G实时传输系统图



Q

你是如何调试5G设备的？

清水洋次郎：5G可以实现高速、大容量的通信，但同时也会产生更多的热量，所以从开发之初，我们就一直在研究如何改善散热的问题。此外，无线电电路和天线必须在不损失4G频率的情况下扩展到5G频率，因此我们利用索尼移动通信在制造小型高效设备方面的专长，进行了反复调整。



Q

对传输盒进行了哪些加工？

権藤崇：传输盒将摄像机发送的视频数据进行压缩并通过IP进行传输。在直播过程中，高画质、低延迟、无信号丢失的高稳定性是绝对必要的。要同时实现这三点并不容易，另外，在本次测试中，转播过程中网络有可能会发生变化。因此，我们设计了压缩技术和IP传输算法，根据网络情况，保证高质量的视频传输，并尽可能的降低延时，并投入了可调整网络容量和损耗补偿的系统。



Q

虚拟制作是一种怎样的技术？

吉野茂：虚拟制作是基于云端的直播制作解决方案。在传统的直播制作中，多机源的视频切换，是由现场视频设备和现场视频操作员完成的。索尼的虚拟制作将这些视频切换过程和音频混合过程转移到云端，并将视频流传到社交媒体。我们的客户可以在不亲临现场的情况下，远程制作视频直播内容，从而降低制作成本。



Q

在进行实验的过程中，有没有遇到什么特别的困难？

清水洋次郎：在这次实验中，我们使用的是相对低频的5G频段，接近4G，也就是所谓的Sub-6，但是无线电波的直线度却出乎意料的高。所以我们花了一些功夫确定合适的拍摄位置，以保持快速的上行速度，从而可获得稳定的视频流。



尹晟赫：柏林的5G基站建设直到赛事前两周才完成，所以我们直到最后一刻才得以进行本地的前期测试，挑战在那时就已开始。在赛事前一天，团队花了大量的时间进行测试，以寻找5G连接稳定、并可以安装摄像头的完美位置，但在马拉松比赛当天早上，一个大气球拱门出现在半程点，挡住了整个摄像头的角度，所以我们不得不在最后一刻重新调整摄像头的位置。当位于半程点的5G摄像头拍摄的镜头被用于电视直播的那一刻，所有的努力都值得了。员工休息室里传来兴奋的欢呼声，也有欣慰的叹息声，那一刻令我久久不能忘怀。



Q

柏林马拉松后，第二个实验在两个月后的美国得克萨斯州一场美式橄榄球比赛中进行，请介绍一下得克萨斯州的实验情况。

権藤崇：我们与当地移动网络运营商进行了PoC联合试验，并得到了当地内容提供商和球队的支持。要在特定的场地安装并实施5G等新技术，需要与场地所有者、当地政府、当地利益相关者、立法机构等进行多次商榷，因此，要制定出符合索尼公司初衷的计划，无疑是一个挑战。最终，我们通过与内部和外部利益相关者的沟通，充分考虑限制和条件，及时调整和管理规划的重要时间节点，才得以继续进行。虽然也有不尽如人意的时候，但通过我们以上的不懈努力，以及与设计和开发团队的沟通，终于得以按照计划稳步推进。



Q

实验的具体内容是什么？

佐藤弘基：我们在这里也做了两个主要的测试，第一个是在摄像师的工作台上进行传输。在整个比赛过程中，我们用5G网络来替代有线传输。第二个是在现场进行传输。利用无线传输的优势，我们在现场和很多媒体人员做了一个小范围的绕场转播。


使用支持5G的摄像机进行拍摄，并以无线方式传输画面



Q

除了在柏林的实验，你还经历了哪些创新和困难？

清水洋次郎：已经在美国实现商用的5G mmWave技术，使用的频段比Sub-6高得多，有望提供更高的容量和速度，实现高清视频传输。不过，它也面临着一些技术上的挑战，比如电波容易被建筑物甚至人体阻挡，不能很好地在远距离内传播。索尼移动通信开发了更小的天线模块，并对其安置方位进行了优化，使其可以从任何角度接收mmWave信号。在监控接收信号质量的同时，通过有效切换天线模块，能够帮助降低传输损耗和抑制发热。我们还改变了设备的材料，以确保把对mmWave传输特性的负面影响降低。



佐藤弘基：在传输方面，我们花了许多时间针对mmWaves进行了调整。摄像机操作人员和其他在附近移动的人对无线电波条件的影响很大，很有可能出现传输速度突然下降的情况，所以为了提高稳定性，索尼影像产品与解决方案公司和索尼移动通信公司的工程师们一起合作，寻找更好的无线电环境。他们还改进了视频压缩和传输技术，在保持图像质量和提供稳定的传输方面费了不少功夫。



Q

听说在活动前的实验前检查时有一些限制？

権藤崇：索尼团队为了摄像机的安装位置和一些配置需要在PoC game之前评估5G无线电节点的物理位置以及相关性能。我们的假设是在场地内至少执行四次这些活动，但我们必须做出一系列的调整才能做到这一点。针对进入场地的严格限制，并被要求在不影响现场观众体验的情况下进行试运行以了解PoC的运作等情况，我们进行了及时的讨论/协商计划，在比赛前3天进行了准备工作。


休斯顿NRG体育场设置的摄像系统





将5G的价值传递给更多人



清水洋次郎：5G带来了巨大的可能。我们希望通过运用我们的经验，将5G通信技术与索尼的各种内容和服务相结合，追求 "3R技术"—真实、实时、远程的目标，为索尼的新kando（感动）体验和新业务的开发做出贡献。



佐藤弘基：在这里得到了很多人的支持，我自己也从中学到了很多东西。在没有任何领域和用途障碍的情况下，我将尽我所能进一步提高技术，通过5G创造新的价值。