Part 01
为什么要研究VR高分辨率视频播放技术？
VR技术的快速发展促使全景视频成为未来视频服务的新型载体，然而目前行业主流终端设备大部分仅支持4K全景视频播放，存在纱窗效应明显、播放高码率视频卡顿等问题，导致用户对VR视频内容的体验仍停留在低像素、观感模糊的阶段。
在家庭应用场景中，智能电视作为主要显示终端面对全景视频的处理也存在算力不足、渲染效率低下等问题。用户持续增长的交互需求增加了渲染画质、效率、带宽等多目标规划的难度。全景视频覆盖360度球面全视角，而人眼视角下看到的有效球面信息约为球面全景信息的30%（如图1所示），4K全景视频观看体验仅仅等效55寸电视270P 感官体验（参考图2等效），而将全景视频全视角传输给终端并进行渲染，则会造成视频质量下降和带宽资源浪费。
因此，基于视频分块技术和FoV技术的分视角传输渲染机制应运而生，其核心思想是仅对用户当前FoV内的画面进行高质量的传输渲染，而FoV外的内容则以低质量形式进行渲染，从而在降低整体数据量的同时保证用户体验。
图1 人眼视角观看的有效信息仅约30%
图2 全景视频等效电视清晰度参考表
Part 02
VR高分辨率渲染技术如何解决纱窗效应痛点问题？
VR视频高分辨率渲染围绕视频分块编码、FoV渲染、视频增强等技术，实现主流VR终端最高支持12K全景视频渲染播放。
图3为VR视频高分辨率渲染示意图，首先采用视频分块编码技术和FoV技术降低网络带宽要求，将全景视频切分为多个高质量FoV分块和一个低质量全景背景流，终端播放器获取当前视角的FoV分片和全景背景流，并渲染播放当前视角的高质量分片内容。
其次在云侧和端侧对全景视频进行增强，一方面在云侧运用深度学习方法提取多帧信息为当前帧补充细节信息以提升视频画质，经过投影变换、分块、高分压缩、编码后组织为私有格式文件进行传输。另一方面，在端侧利用传统图像处理技术对FoV内画面进行实时增强，采用直方图均衡算法和图像锐化处理技术，充分调用GPU算力提升全景视频的对比度和清晰度。
VR视频高分辨率渲染技术大幅降低了对终端算力的要求，节省了存储资源和传输带宽，提升了终端设备的渲染效率。实现主流一体机最高支持12K超高清VR视频渲染播放，支持智能电视机顶盒播放8K以上的VR视频，使低端电视机顶盒也能流畅播放更高清晰度的视频。
图3 VR视频高分辨率渲染示意图
Part 03
8K/12K VR超高清视频的传输问题如何解决？
在传输中，全景视频的超大分辨率对于带宽和实时性的要求提出了高难度的挑战，分辨率8K及以上的全景视频具有极其庞大的视频码率及传输要求，目前市面上主流8K/12K全景视频参数如图4所示。
图4 主流8K/12K全景视频参数
在OMAF标准中，提出了两套传输方案：DASH方案和MMT（MPEG media transport，MPEG媒体传输）方案。在全景视频中，根据用户视角进行动态切换主视点码流，则能去除“视角”冗余，减少带宽压力。应用于OMAF中的DASH方案传承其基本思想，它通过牺牲存储空间来提高带宽利用率。在这一方案中，在DASH服务器上，每个视角都存储多份不同码率的视频流，同一时刻根据客户端的视角信息来传输较高码率的主视角切片流和较低码率的其他视角切片流，是码率和视角自适应的动态流传输技术，它的技术流程如图5所示。
图5 OMAF中的DASH自适应动态流传输流程
基于分块以及视角切换等思想，传输方案的设计和编解码方案一脉相承。例如图6所示的HEVC运动约束分块集（MCTS）法，在编码端将全景图像划分为多个分块，且编码为不同质量的码流，根据用户视角信息在网络传输中动态切换不同分辨率和码流的媒体流，并在解码端组合成高质量主视角和低质量背景的混合图像。除此之外，在OMAF中，还提出了使用SRD（spatial relationship descriptor，空间关系描述符）来进行基于用户视角的流式传输。
图6 相同分辨率HEVC序列法流程
Part 04
结束语
智慧家庭运营中心针对泛家庭VR业务领域，基于中国移动千兆网络优势，攻关VR高分辨率渲染能力，目前已可支持渲染最高12K视频，采用VR高分渲染及传输能力，亦可支持大屏机顶盒播放8K以上VR视频，并逐步推动电视机顶盒硬件升级改造，以支持8K以上分辨率视频播放。截至目前，基于VR视频高分辨率渲染技术，已上线12K至臻超清专区、云游江西、粤享周游、天空之城等众多5G+VR专区及活动，为千万级5G用户提供了极致沉浸的VR超高清体验。
