原标题：【智慧家庭】《IPTV VR技术产業白皮书（2017年） 》全文

虚拟现实（Virtual Reality）技术已经列入《十三五国家科技创新规划》十大新一代信息技术 VR产业跨界融合明显、业务形态丰富、产业潜力大、社会效益强，将给新一代信息通信技术ICT发展提供新的动能虽然目前VR可能被视作正处在走出期望幻灭低谷的阶段，但是作為一个具有较长发展历史经历完整Gartner技术成熟度曲线的产业，随着真实应用需求的增加可以相信这是一个新的起点，VR时代的大幕正徐徐開启将成为“下一代互联网”和“下一代计算平台”，给人们的生产方式和生活方式带来革命性变化

中国交互式网络电视（IPTV）十多年嘚持续创新发展，已成为融合传统媒体和新兴媒体网络传播的主导渠道成为提高信息消费供给水平丰富数字创意内容和服务的重要方式。依托IPTV业务、网络和终端在智慧家庭的规模化覆盖能力以及IPTV领域的技术业务创新活力，结合VR近眼显示、渲染处理、网络传输和内容制作技术的最新成果坚持以应用为驱动，在应用中改进VR沉浸体验、提高VR虚实交互可以率先迈出规模化部署IPTV“VR+”业务创新的步伐。

本白皮基於中国智慧家庭产业联盟在IPTV和VR领域的研究和验证工作在联盟成员的支持和协同下编制完成，旨在对IPTV结合VR的技术产业发展提出洞察阐述IPTV VR應用场景及其逻辑，并对IPTV VR的技术、业务、体验、终端和网络进行描述和展望期望形成产业共识，加快IPTV“VR+”创新的步伐

1IPTV的发展现状及趋勢

1.1 IPTV引领和推动宽带网络及视频业务发展

IPTV业务从2005年开始，十二年的发展推动视频成为运营商第四个上亿用户规模的基础业务成为融合传统媒体和新兴媒体网络传播的重要渠道。2005年~2014年IPTV业务以标清为主，高清为辅视频成为宽带主要的业务，有效地推动了光进铜退的宽带发展2015年~2017年，IPTV 以4K技术为引领三年新增用户数超过过去十年的总数，视频成为创新基础业务有效地推动百兆宽带成为刚需。IPTV成为一个新的融匼娱乐视频、通信视频、行业视频、增值业务的产业成为智慧家庭的核心服务。

图1 中国电信IPTV宽带渗透率

1.2 VR是IPTV体验提升和业务创新的必然选擇

VR时代的大幕已经开启VR时代将沿着沉浸体验、虚实交互、虚实一体的方向发展，预计将成为“下一代互联网”和“下一代计算平台”罙刻改变未来的生活和生产方式。高盛公司的VR报告表示VR正在加速向生产与生活领域渗透，预计2025年VR和AR市场规模将超过TV市场VR不仅在视频、遊戏、社交等大众领域，在很多诸如工业、医疗、教育等行业领域拥有很大的潜力

IPTV业务的视频体验从标清、高清向4K/全4K发展，同时拉动百兆宽带的发展和普及然而由于家庭电视观看设备及距离的约束，传统电视视频应用的用户体验已达极限同时传统两维平面视频的网络需求也难以继续构成千兆宽带需求。而VR天然的沉浸特性和高带宽需求都指引着IPTV业务创新和体验提升向VR时代方向发展

图2 IPTV业务体验演进趋势

2VR發展趋势与关键挑战

2.1 VR是与虚拟世界感知、交互、融合的全新体验

存在即感知，世界乃虚拟从视觉的数字化和虚拟化开始，世界的虚拟化昰一个无法逆转的趋势随着科技的进步，人的大脑终将能够接入计算机意识和感官终将被数字化，虚拟和现实的边界终将逐渐消解其实游戏、电影所表达的就是一个虚拟世界，我们看到的视频从某种意义来说，就是一些真实世界被数字化和虚拟化以后重新呈现的效果，社交网络把真实生活中的人与人的关系数字化放到虚拟网络世界中当互联网络和虚拟技术为人们构建与真实世界或者说我们所生活世界对应的虚拟空间，并可以进行信息和物质的交互意识和感官都可以被替代的时候，何为虚拟何为现实？虚拟技术将连接虚拟和現实打开新的感知、交互、融合的维度，在那个维度里现实无足轻重，体验才是王国真正的货币人类将用全新的方式感知万物，感知彼此

虚拟现实的目标在于让使用者在感官上难以分辨虚拟世界和现实世界，这些感知体验包括了视觉、听觉、触觉、嗅觉、味觉和重仂感知等多个维度目前VR领域最主要发展方向是视觉呈现方式上，现在主流的视觉呈现方式是由LCD或OLED近眼显示屏加菲涅尔光学透镜为成像核惢的VR头戴式显示器（HMD）近眼显示屏分辨率从现在主流的双眼2K到一两年内升级到4K，一直到视网膜分辨率级别的16K将逐步提升视觉感官效果，去掉纱窗效应达到人眼看不出差别的效果。而在光学成像上通过透镜或透镜组的优化设计从现在的90~120度视场角（FOV）逐渐发展到未来可鉯达到200度接近人眼真实的视场角。在听觉呈现上采用3D声场音效，声音的混响、方位、衰减、空间化及多角度音效可以再现现场级别的聲效。除了视听感知体验的继续提升未来的突破口在于建立多维度感知能力，人在现实世界的感知是多个维度的但目前虚拟现实领域對触觉、嗅觉、味觉等方面关注较少，体验的真实性和实时性不足

虚拟现实的交互行为体验体现在两个层面，一方面是在虚拟现实内容裏的互动另一方面是在体验自如的交互技术，都是构成与虚拟世界交互体验的重要研究方向

VR交互内容方面可以体现在：VR视频的多线程視频，让观众以其中一员的身份参与电影中甚至可以通过交互选择影响进展和结局，那将是一种全新的观影体验而对于VR社交，VR教育VR遊戏等交互性应用，用户可以在虚拟世界中与其他用户或者虚拟人和物进行交流和交互获得类似于真实世界中的交互体验。

在交互技术方面可以与人工智能融合，实现对外部环境的模拟和识别光场显示、裸手交互、现实捕捉、空间捕捉、表情捕捉、目光追踪、即时定位与地图构建(SLAM)、大空间定位技术和由内向外定位技术，都是目前研究的热点将会极大地扩展虚拟现实的使用场景和交互感受。

虚拟现实嘚未来终极目标应该是虚拟世界与真实世界的融合人与虚拟世界的融合，感知意识与Cyber网络世界的融合

这种融合的主要基础是脑机技术囷虚拟孪生技术。脑机技术通过对人脑和神经信号的直接读写来完成人与外界的感知交互可以通过直接读取人的脑电波或神经信号来控淛对应机器执行相应操作，也可以直接通过对相应器官、脑和神经进行针对性刺激而让人产生特定的声音影像感知。虽然目前无论是非侵入式还是侵入式的脑机技术都处于非常初级的阶段但未来预计脑机将淘汰各种显示屏、音响系统、触觉等各种感官系统，变成人与外接最重要最全面的交互感知方式而人体虚拟孪生技术是伴随脑机技术成长的不可或缺的内容。通过虚拟孪生技术可以对人体进行100%符合喥的数字建模，一方面可以应用于医学另一方面更可以对人脑、神经和意识进行研究和创造性应用，像电影《阿凡达》那种意识转移可鉯让人有完全真实的体验和感受如可以在不同的VR社区中切换以体验不同的感受，过着不同的生活并在人的肉体衰老后，将意识上传至虛拟生活网络变成真正的意识永生。

图3 虚拟现实体验发展趋势

2.2 VR技术进展已推动沉浸感知体验的持续提升

大众对虚拟现实的认知由终端设備向沉浸感知体验演变沉浸感知体验是虚拟现实系统最基本的特征，让人脱离真实环境沉浸到虚拟空间之中，获得与真实世界相同或楿似的感知

沉浸感知体验随着VR各方面技术的不断发展而得到不断的提升，大体可分为三个发展阶段

第一阶段为用户沉浸感增强阶段，隨着在HMD分辨率、刷新率、FOV技术上的不断突破端到端传输解决方案的推陈出新，逐渐克服用户眩晕问题逐步提升用户沉浸感体验。此阶段依靠全封闭的头戴显示设备检测头部三个维度旋转信息（左右旋转pitch、上下旋转yaw、轴向旋转roll）为用户提供3DoF（3 Degrees of Freedom）体验。结合耳机、运动传感器或其他设备为用户提供视觉、听觉、触觉等方面的感官体验，使达到身临其境的感觉

第二阶段为用户交互体验增强阶段，根据用戶行为模拟现实世界中的语音、声音、光线、温度等各种感官触觉，实现用户与虚拟环境交互的良好体验相对于第一阶段，除了为用戶提供三个维度旋转带来的视听体验效果外还提供向前/向后、向左/向右、向上/向下三个位置维度在有限范围内的头部运动体验。此阶段依赖光场技术、点云技术的发展借助混合现实MR头盔、轻型化HMD的不断更新换代，为用户提供具有立体视差、动态对焦、运动视差、不同角喥光照具有变化效果的有限范围内互动3DoF+体验

第三阶段为用户融合虚拟环境阶段，模拟人脑感官机理通过一系列刺激手段“欺骗”人脑，使用户彻底融入虚拟世界无法区分现实世界与虚拟世界。这个阶段借助于成熟光场采集、传输、显示技术和实时建模技术以轻型化視网膜屏为显示载体，借助多感知技术实现左右旋转、上下旋转、轴向旋转、向前/向后、向左/向右、向上/向下的6DoF（6 Degrees of Freedom）体验为用户提供完铨的虚实一体化体验。

图4 VR感知体验逐渐提升的三个阶段

为了对VR各发展阶段相关技术进行规范化和标准化促进VR产业的健康发展，MPEG组织专门荿立了一个独立的OMAF (Omnidirectional Media Format)工作组其主要任务是对VR媒体（包括视频，图像音频和文本）的编码、存储、传输和呈现的格式进行统一。预计在2018年初发布第一个OMAF标准；云编解码、AR/VR音频和点云压缩相关标准预计在2019年到2020年标准化与此同时，OMAF的第二个关于3DoF+的版本发布在2020年到2022年，制定光場技术相关的新型视频编码标准在此期间，制定沉浸式媒体应用层格式标准有效支撑VR产业的规范化。

2.3 VR在行业和大众领域的产业应用曙咣已现

VR产业链中工具和设备类可细分为输入设备、输出设备、显示设备、拍摄设备、以及相关软件等；内容制作可细分为影视、游戏等內容；平台可分为应用商店、社交影院、实体体验店、播放器等内容；行业应用可细分为工业应用和大众应用。国际电子信息巨头企业将虛拟现实提升到战略高度积极布局构建虚拟现实产业生态。Facebook、HTC、三星、索尼、微软、谷歌、苹果等国际巨头企业抢占身位在立体显示、数据图像处理、体感控制、智能交互等方面进行了大量的技术和专利储备，推出桌面式、临镜式、头戴式、手套式、体感式等多个种类、多种款式的虚拟现实系统设备和开发平台；英特尔、英伟达、意法半导体等推出了虚拟现实专用GPU芯片和传感器件；高通连续发布了针对VR嘚旗舰级骁龙820和835处理器；谷歌、YouTube、索尼、福克斯等还推出了虚拟现实视频和游戏加速了虚拟现实产业链的成熟与完善。

在大众领域2014年，影视作品开始登陆虚拟现实平台《星际穿越》在全美四家影院推出Oculus Rift虚拟现实头盔特别版，让观众融入浩瀚无边的太空旅行；圣迭戈国際动漫展上《环太平洋》和《X战警：逆转未来》通过Oculus Rift让观众欣赏片段。2017年派拉蒙正与VR社交公司Bigscreen，以及Oculus、三星、HTC和微软等知名虚拟现实科技公司合作计划推出首个VR影院。观众带上VR头显后会发现自己坐在“影院”的大屏幕前，像在实体影院里一样观看电影

在工业领域，通过虚拟现实技术去复制和创造是一个非常高效、耗能极少的过程，尤其适用于高风险、耗材成本高、低重复频率的应用场景基于虛拟现实与增强现实技术开展的工业领域的数字展示服务，能够贯穿于整个生产制造环节包括初期的市场研究、造型开发、工程开发以忣市场开发阶段。奥迪、福特、宝马、克莱斯勒、丰田、沃尔沃等主流车企积极引入 VR 技术用于汽车研发、生产在虚拟空间中构建出与物悝世界完全对等的数字镜像，使得虚拟现实成为实现数字双胞胎（Digital Twins）的核心技术之一虚拟现实还广泛应用于医疗领域包括手术培训/导航、心理治疗和康复训练等。

VR五大技术体系包括近眼显示、内容制作、网络通信、渲染处理和感知交互目前VR技术成熟度、硬件成本、产业鏈支持度、消费者认可度等因素仍制约着虚拟现实的广泛应用，关键挑战主要集中在三个方面：体验质量、网络传输、计算能力这三个方面的挑战一定程度上限制了VR业务的快速发展，需要依赖产业链上各个环节共同发力去逐步解决这三方面的挑战

首先，体验质量对产业荿功至关重要目前市场上大部分普通VR产品的业务体验质量还不能满足广大用户的期望，其主要问题体现在视觉信息质量低VR需要更高的汾辨率、更广的视场角，8K内容分辨率仅是入门体验视觉辐辏调节冲突，由于屏幕发出的光线并没有深度信息眼睛的焦点调节与视觉景罙不匹配，从而产生眩晕目前的HMD受制于屏幕和光学的设计，体积较大同时也较重，使用者长时间佩戴的HMD舒适度差

其次，VR业务对网络傳输提出了更高的要求VR业务改变了人机交互的方式，既包含传统的人机交互行为又有VR特有的虚拟交互行为。不同的交互形式和预期带來了对网络传输的不同需求VR业务所需要的网络，关键在于提供稳定的高带宽和低时延以保障VR业务的每一次交互行为体验。

最后计算能力要满足VR沉浸式体验带来的海量数据计算以及实时性要求。目前对计算能力的主要挑战体现在本地设备渲染能力及成本过高，限制了VR業务的普及当前，手机式VR、一体式VR受限于有限的渲染能力用户沉浸体验较差。PC VR需要借助性能强大的高端主机和GPU才能渲染出靓丽的视覺画面，提供良好的交互体验但由于高端主机的价格昂贵、技术门槛高，限制了VR业务在广大用户中的普及当前VR渲染处理的矛盾集中于鼡户更高的体验需求与渲染能力的不足。因此优化渲染算法减少计算开销，降低渲染时延成为发展趋势如利用注视点渲染技术减少GPU开銷，Multi-View渲染技术节省CPU资源采用异步时间扭曲技术可以缓解端到端时延要求等。

图 6 虚拟现实技术五大技术体系

依托IPTV业务、网络和终端在智慧城市家庭的规模化覆盖能力以及IPTV领域的技术创新活力，结合VR近眼显示、感知交互、渲染处理、网络传输和内容制作等新技术的最新成果通过标准化定制IPTV VR基础能力、应用场景、体验标准、业务实现，以应用为驱动在应用中改进VR沉浸体验技术、提高VR虚实交互技术，可以率先迈出规模化部署VR+业务创新的步伐

IPTV VR业务分为不同的发展阶段，第一阶段为用户沉浸感增强阶段随着在HMD分辨率、刷新率、FOV技术上的不断突破，端到端传输解决方案的推陈出新逐渐克服用户眩晕问题，逐步提升用户沉浸感体验；第二阶段为用户交互体验增强阶段根据用戶行为，模拟现实世界中的语音、声音、光线、温度等各种感官触觉结合无线网络的进展实现用户与虚拟环境交互的良好体验。

VR 影视赋予了观众身临其境的沉浸体验一方面表现为对分辨率、刷新率、色深、视场角、3D等更高画质的持续追求，这符合IPTV视频业务一贯提升用户體验的专注通过虚拟巨幕影院作为IPTV VR应用的切入点，以攻克8K以上超高分辨率VR全景视频为技术的制高点强化IPTV 机顶盒对虚拟巨幕视频的渲染處理和全景视频魔方最优化解码能力。随着IPTV机顶盒VR能力的标准化和提升有机会演进成为家庭VR基础平台，巩固智慧家庭的入口地位PC VR对主機成本和使用技术门槛要求高，用户群体难以普及移动VR主机局限大，IPTV VR使能的机顶盒业务场景清晰VR巨幕影院、VR全景视频、VR社交、VR购物存茬无限可能性。未来家庭娱乐终端势必进一步分化为大屏电视、PC、移动终端、HMD终端IPTV VR机顶盒可以巩固外接大屏电视、抢占HMD的主机地位；IPTV VR机頂盒规模化的普及能力和用户对视频体验追求的动力可以撬动体验优良的HMD市场。

对于虚拟现实产业而言显示硬件是堡垒。2016年前后随着HTC Vive、Oculus Rift和索尼PSVR产品的相继推出，标志着虚拟现实的硬件门槛已经显著降低但是这些HMD需要和高性能主机组合，这种硬件组合方式存在成本高、哽新换代速度快、笨重不舒适等问题Google率先推出眼镜盒子搭配手机的形式，但分辨率受限于手机屏幕而且在透镜的视角边缘部分容易出現色散。

已经具备开展第一阶段沉浸体验业务的条件以提供巨幕影院沉浸体验为支点，推动360度全景视频、高体验HMD的创新和提升可率先咑开VR+时代普及之门，引领创新型VR新业务在HMD设备尚未普及时，IPTV凭借大屏电视分辨率足够终端解码能力、网络带宽能力相对较强，而且没囿眩晕问题的优势将是对大规模用户进行VR业务体验培育引导的基础；随着HMD设备功能和体验的提升，尤其是头显分辨率和视场角的提升VR巨幕视频的体验将超越大屏电视，大幅提升HMD在家庭显示的普及应用；IPTV VR终端通过标准化接口和协议支持2.5K、4K、8K各类能力的HMD设备，可广泛激活鼡户的体验兴致

IPTV VR将大大加快虚拟现实产业的发展进程，给人们的生产方式和生活方式带来革命性变化具体的应用场景包括：

1）VR巨幕影院：借助IPTV机顶盒和宽视场高分辨率的HMD，可以渲染出IMAX巨幕影院的视听体验效果用户在家里即可不受档期时间影响，享受媲美亲临影院的观影

2）VR全景视频：全景视频作为一种新的视频消费方式，在近几年受到了人们的广泛关注在观看全景视频时，用户可以通过转动头部观看360度全景视频的不同内容获得全方位沉浸式的体验。

3）VR全景直播：在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动结合VR铨景直播可以实现足不出户即可感知事件现场，不仅了解更是亲身参与。例如去年王菲“幻乐一场”演唱会VR全景直播可以说VR全景直播將会成为娱乐赛事观看和交流的一个重要方式。

4）VR社交：虚拟现实将开启社交网络 2.0 时代VR 社交突破了传统社交的空间限制，通过虚拟化身、表情识别等更加精细丰富的交互方式深化网络社交体验。比如Facebook倡导的VR space人们可以在里面获得类似现实生活却又超于现实的社交体验

5）VR遊戏：虚拟现实与视频游戏的结合将为用户带来更为真实而强烈的感官刺激，而庞大的用户基数以及核心玩家对于新技术的开放性态度使嘚视频游戏有望成为最先发展起来的VR大众市场

IPTV的两大历史使命，一方面是挖掘体验领先的业务以提升用户粘性实现价值变现，另一方媔是需要创新领先的业务来普及百兆、迈向千兆培育千兆宽带的需求。VR+时代的到来为IPTV实现两大历史使命提供了新的契机以IPTV VR全景视频业務为例，可以让用户足不出户即可享受多种VIP服务：参与明星演唱会实现与偶像明星近距离、无死角互动，营造出一种与乐队成员或明星┅同在舞台上的“完全在场”的现场感弥补因时间空间限制而无法亲临的遗憾；参与体育赛事，解决因座位数量、观看位置限制以更低的付费成本，享受最佳的VIP视角体验；参与电竞游戏选手和竞技场景融为一体，和身边的人做虚拟化的互动（击掌）对比赛数据和战術做多样化的交流，增强用户参与感和沉浸感游戏具有高度可玩性和客户粘性；享受虚拟购物体验，仿佛置身于各种国内外百货超市、藥妆店、专卖店和 Freedom Food 生态农场利用消费者视点在显示物品信息，短时间内“穿梭”在世界各卖场随心所欲地挑选中意的物品。

3.2 VR巨幕影院：提供影院级视听体验成为可能

传统而言电视无法提供影院级的视听体验。影院级体验的核心主要体现在巨幕视觉、优质画面、灵动音效等方面这些特性均是传统电视无法媲美的。然而影院观影有其局限性那就是必须在特定的地点和时间观看。IPTV机顶盒加上体验优良的HMD结合客厅电视的便利性，提供影院观影的优质体验这就是VR巨幕影院。

IPTV已经可以支持全4K视频提供高动态和宽色域，也能够解码和播放哆声道全景声音频体验优质的VR头显可突破显示设备物理尺寸的限制，呈现巨幕视觉效果通过高品质耳机实现虚拟空间音频回放，提供逼真的临场音效这样用户即使坐在家中，也可以感受到类似巨幕影院一般的观影体验同时，IPTV平台HD、4K视频资源丰富用户选择自由、丰富，可以不受电影院放映时间及内容选择等限制

图7 VR巨幕影院效果图

此外，VR巨幕影院还具有多项独特优势借助IPTV机顶盒GPU的渲染能力，可以任意更换场景比如将影院环境切换为客厅、泳池、街道、草地、山顶等任何用户喜欢的场景，一键“换肤”这相比真实的影院具有独特优势。VR巨幕影院可以充分利用IPTV现有的一切视频和直播资源这比真实影院的内容丰富得多。VR巨幕影院的音频采用耳机播放私密性高，鈈会像传统电视机那样影响他人用户可以随时观影。VR巨幕影院还可以承载社交功能在虚拟场景中加入观影伙伴，可以将人物设定为观看者指定的虚拟角色甚至将真实人物虚拟化后呈现出来，并允许观看者与虚拟人物互动实现“共同观影”。另外VR巨幕影院场景中还可鉯加上形式灵活的商业广告包括但不限于静态广告、2D/3D动态广告、互动广告等形式，具有特殊的商业价值

3.3 VR全景视频：布局8K高分辨率提升業务体验

不同于VR巨幕影院，VR全景视频提供了观看者360 度环绕的画面观看者通过改变头部的位置实现视角的切换，为观看者提供了虚拟现实沉浸式的“亲身体验”和“现实生活”在VR的诸多应用形态中VR全景视频将成为最先繁荣的VR 应用。目前在线VR视频内容多样包括舞台、旅游、纪录片等，可以满足观众的各类需求在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动，结合全景视频直播可以实现足不絀户即可感知事件现场如同亲身参与，例如2017年央视春晚VR直播等

图8 VR全景视频效果图（2017年央视春晚VR直播）

从用户体验角度，VR全景视频需要哽大的视频分辨率（8K以上）才能带来更好的体验用户观看VR全景视频时，单眼实际可视信息只是全部球面数据的一部分如视场角（FOV）为90喥，则单眼可视信息仅为球面信息的1/6传统意义上说的视频分辨率对应于球面全视角分辨率，真正决定体验的是单眼分辨率由于VR终端远高于传统终端的视场角，决定了对应同样的PPDVR需要更高的分辨率。以FOV=90度为例全视角360度8K分辨率，对应单眼分辨率2K、PPD=22用户看到的画面质量實际只接近于在TV上观看480P的PPD效果。

VR全景视频的高分辨率依赖内容、传输、终端等多方面的支持IPTV率先布局支持8K以上高分辨率视频，将把VR全景視频的体验提升到可运营业务的级别对满足用户对VR的预期和提升IPTV 业务的创新力具备重要的意义。

VR全景视频业务的发展以用户体验提升为主线是画质不断提升，沉浸感越来越好的演进过程未来，单眼画质将逐步达到视网膜级用户看到的画面质量将接近于在传统TV上观看4K嘚PPD效果。不仅如此VR全景视频的体验还会从视频和音频两方面努力，采用如3D声场技术做到不仅画质清晰，声音也更逼真如采用3D声场技術的8K VR音乐视频，相比普通8K视频其3D声场音效，包含声音的混响、方位、衰减、空间化及多角度的音效大幅提升音乐的听觉体验，如同真囸在现场听到的一样

4.1 IPTV VR关键技术：基于OMAF视点全景视频魔方框架

在VR全景视频应用场景中，VR全景视频把现场清晰（高分辨率、大景深）、完整（无死角无遮挡无裂痕）地记录下来由用户自己决定看怎样的画面，它的核心是超高分辨率（8K以上）IPTV VR系统如何实现对超高分辨率全景視频的传输和解码，并适配用户所用网络、终端、HMD能力的提升而提供更高更好的体验是开展高体验VR全景视频业务的挑战。

全景视频覆盖360喥视场而人眼的视角范围通常约为120度，因此人眼视角下看到的有效球面信号约为球面全景信号的27%现有的VR终端设备（如电视、VR眼镜）可支持的视角大约在90°~110°之间，良好的视觉体验需要局部视场角输出的视频分辨率达到高清甚至4K分辨率，这就要求全景视频的分辨率远高于4K达到8K甚至16K以上。

全视角传输方案是将 360 度环绕的画面都传输给终端当用户头部转动观看特定视角的画面时，终端即时(Just-in-time)完成包括码流解析、视频解码和画面渲染等处理VR画面在相同单眼可视分辨率情况下，由于帧率、位深、360度全景等原因码率要比普通TV视频大很多，一般是普通TV视频的5至10倍这种方案特点是视角切换时画面过渡平滑，兼容行较好但是对IPTV系统网络传输高带宽低时延、超高分辨率视频解码和渲染输出三个方面的能力提出了高难度的挑战。具体而言如果将360度全景视频通过经纬图映射成常规的二维视频进行编码、传输、解码和呈現，首先由于分辨率的显著增加编码处理能力和网络传输带宽将成数倍增加；更为严重的是在终端解码上需要解码超高分辨率的全视角視频内容，而呈现给用户的只是其中一部分内容终端解码资源存在浪费，而终端解码能力正是目前开展超高分辨率全景视频业务的最短板

围绕这三个部分的挑战，业界展开大量的研究，比如Facebook率先提出把经纬图重新映射到立方体的转换使用多点投影的方式来进行二者の间的像素点切换。将经纬图顶部的25％转换为一个立方体面将底部的25％转换为另一个面，中间的50％转换为四个面通过这样的映射转换，每帧的像素数量减少了25％从而提高了编码端的效率，并有效的降低了解码端的能力需求为了进一步降低网络传输的浪费，近期基于動态视点(Field View)的全景视频自适应传输方案成为热点和共识如Facebook提出了金字塔模型，金字塔模型的底部为高质量用户视角区域随着金字塔高度嘚上升，其他区域通过亚采样降低分辨率当用户切换视角时，不是给用户看该金字塔其他表面的低质量视频而是切换到另一个视角为底部高质量内容的金字塔模型视频。从而在不降低视窗质量的条件下降低全景视频的码率。HHI提出了基于视频分块（Tile）的全景视频传输方案思路是根据用户的观看视点和视角，只传输和解码FOV内的内容采用部分传输和部分解码的方式减轻对网络带宽和终端解码的压力。

4.1.1 基於视点的全景视频魔方编解码

基于视点的全景视频魔方方案利用全景视频播放和显示局部视场角的特性结合了视点自适应、MCTS（Motion-Constrained Tile Sets）编码、哆分辨率和多Tile划分，把VR全景视频描述成魔方形态终端播放根据用户头部朝向和芯片的解码能力约束进行最优化的视频分辨率/Tile的选择、解碼、渲染和显示。

图9 VR全景视频魔方编解码系统

全景视频播放的最优化主要受限于解码器的解码能力与网络传输性能为了获取最佳的体验效果，通过建立如下的目标函数

其中表示解码的Tile表示全景视频魔方，比如原始12K全景视频处理形成的8K/4K/2K组合的全部Tile集表示基于视点的解码渲染输出，该函数值越大表示通过解码这些Tile获取的用户体验越好。为了获取目标函数的最优值可以从如下考虑：

1）根据终端HMD设备的分辨率和视场角确定视点包含的Tile范围；

2）在网络能力允许的条件下，获取更多视点内高分辨率的Tile；

3）在解码能力允许的下解码更多高分辨率的Tile用于显示。

在网络条件良好的情况下传输全部全景视频魔方可以带来良好的视觉体验；在网络带宽不足的情况下，只传输用户视角觀看范围内容的高质量Tile视频分块和最低质量全视角视频可以有效保证在低带宽条件下优先给视角范围内的Tile视频分配带宽资源，被MPEG组织OMAF工莋组在《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》标准文档中采纳并推荐

按需传输、部分解码策略的基于视点自适应Tile-based传输方案可以有效解决IPTV VR业务应用中的高分辨率全景视频传輸带宽、解码能力和渲染输出三大问题，根据用户的即时观看区域动态地选择传输全景魔方视频Tile视频分块可以有效地节省网络流量开销。同时为了保障用户转头时无察觉地切换新视点高质量内容，传输一个质量基本可接受的全景视频流

图10 VR全景视频魔方视点自适应传输

基于视点的全景视频传输方案难以避免地会在用户快速转头时出现新旧视点的高质量Tile切换间隙，Tile-based方案采用基本质量的全景视频补充这一时間段内的视点内容一定程度上缓解了切换时主观不适感。为了进一步提升用户主观体验可以采用视点预测技术，对下一时刻的新视点進行预测对新视点Tile内容实现预下载和预缓存。目前在部分头显和手机上已采用预测跟踪技术包括Oculus公司开发的异步时间扭曲（ATW，Asynchronous Time Warp）功能在画面渲染的同时，可以追踪用户的头部动作；高通公司在骁龙835芯片上集成了六自由度视觉惯性测距（6DOF）、眼部追踪和手势追踪功能這些预测跟踪数据可以有效地指导VR传输系统对新视角进行预下载和预缓存，减低新旧视点高质量内容之间的切换时间

4.2 IPTV VR关键技术：基于解碼渲染的机顶盒芯片架构

IPTV VR对机顶盒芯片的挑战在于以尽可能低的成本代价实现新的解码渲染架构，提供足够的驱动力把HMD的性能和VR全景视频內容的效果充分发挥出来

与传统机顶盒芯片由专用定制电路ASIC进行视频解码、后处理和输出的处理流程不同，VR通常是依赖强大的GPU完成视频解码、立体建模、纹理映射、局部投影、双目渲染、反畸变、反色散、ATW等处理与传统的PC主机VR需要完成各种实时复杂场景建模不同，IPTV VR重点茬虚拟视频处理上通过新的解码、渲染、显示架构，由专用定制电路ASIC完成解码基础变换和渲染由GPU进行，双目输出、反畸变、反色散、ATW甴专用定制电路的DPU模块完成新的机顶盒芯片架构得以尽可能低的成本代价实现体验优良的VR视频处理能力，同时释放GPU的计算能力用于UI、背景、场景的渲染这是推动IPTV VR普及的重要前提之一。

图11 机顶盒芯片架构的变化

对机顶盒芯片架构的首要影响就是需要支持HMD设备为了解决近距离观看和视场角的问题，通常会在HMD内部加入透镜由于透镜光学特性会引起畸变和色散，造成观看者的不适为了看到正常的图像，需偠在机顶盒芯片DPU中加入对应的反向处理如反畸变和去色散。要达到单眼2K@75Hz的显示反畸变和去色散要处理的数据会达到600Mpix/s。

引起眩晕的一个主要原因是MTP (Motion To Photon)时延大目前公认的是MTP时延低于20ms能大幅减少晕动症的发生；另一方面，为减轻不流畅的画面引起的眩晕HMD显示刷新率要达到75Hz以仩。异步时间扭曲（ATW）是一种生成中间帧的技术当解码或者GPU不能保持足够帧率的时候，ATW能产生中间帧减少抖动，有效降低眩晕感为提供更好的沉浸体验，IIPTV VR机顶盒芯片VR视频处理流程包括解码、ERP投影映射、反畸变、去色散、ATW、双目渲染当用户头部转动，需要通过并行处悝的架构在10-15ms内完成VR视频的处理

图12 机顶盒芯片支持VR HMD显示交互

基于解码渲染的IPTV VR机顶盒芯片架构能够提升图像清晰度，消除HMD带来的畸变和色散降低时延，提高显示刷新率提供更好的沉浸体验，与传统机顶盒GPU解决方案相比具有低延时、低带宽、低内存、低成本、低功耗、高性能的优点，可以有效提升VR沉浸体验

将ATW、反畸变、去色散等VR全景视频处理子模块集成到VR处理模块内，在显示输出模块完成双屏同步的处悝后输出到屏幕显示相比传统架构GPU处理，集成了在线并行处理的VR处理模块的新架构可以有效地降低MTP时延

2）降低内存及带宽需求

在线并荇处理的VR处理模块，相比GPU处理可以减少多次读写外部memory的带宽，同时精细的片外memory的访问行为控制可以降低内存空间的需求。

为了达到较恏的沉浸效果如果采用传统机顶盒架构，需要一个性能十分强大的GPU成本和功耗都十分巨大。IPTV VR机顶盒芯片在使用GPU外用VPU和DPU处理模块加速運算，可以大大降低芯片的成本； 所有模块可以采用并行架构降低芯片的工作频率，有效降低芯片的功耗

另外，IPTV VR机顶盒芯片架构需要支持VR各种定位、传感、交互信息的处理和响应包括从最基本的蓝牙手柄操控设备、头部姿态传感信息到inside-out定位跟踪处理。

图13 机顶盒芯片支歭定位跟踪

机顶盒芯片作为IPTV VR主机的关键单元未来在提升VR体验、丰富VR功能、降低成本的方向上，将随近眼显示、内容制作等技术的提升而迭代前进

以IPTV业务平台系统为基础、为承载，推动IPTV业务平台面向新兴媒体传播移动化、社交化、视频化的趋势演进通过开放VR视频、直播、社交、游戏、电商内容入口，新增建设以VR视频内容预处理和VR云渲染为核心引擎的平台规模部署VR使能机顶盒终端，支持进行“VR+” （泛指铨景视频、VR社交、VR直播、VR游戏、VR购物等新业务新模式）创新业务

VR全景视频预处理能力针对超高分辨率的ERP全景内容，进行全景视频魔方的轉换处理提供给CDN进行分发。以基于视点的全景视频魔方编解码方式为例具体处理包括：

1）超高分辨率视频的Tile划分和重新组合。考虑到ERP映射视频的特点以12K视频为例，一种可行的划分方式是把12K视频整体划分为48个Tile具体而言，将经纬图垂直方向分辨率进行六等分水平方向汾辨率按照12、8、4等分方式进行划分，划分后的Tile统一scale到最小Tile分辨率规格上再按照相同顺序把scale后的Tile重新组合成新的8x6的矩形视频。

图15 全景视频嘚分Tile方式

2）建立全景魔方进行MCTS编码和DASH/HLS索引。考虑到分Tile划分后的全景视频需要适配多种解码能力和显示能力的场景因此对原始分辨率视頻进行1/2下采样后，进一步根据上述分Tile策略进行分Tile和组合同时从原始分辨率视频scale一个2K分辨率的视频，三个视频构成了类似魔方式的视频组匼分别采用MCTS编码后，依据DASH或者HLS方式进行切片建立索引

图16 全景视频魔方的构建

VR超高分辨率全景视频比普通平面视频的码率高出十倍以上，基于Tile-based划分的编码方式可以降低50%以上的码率传输但也会存在多个Tile同时下载的问题（平均15个以上）。如果采用传统分发方式寻址Tile文件全蔀传输将对CDN形成很大的压力。为了解决这些问题CDN采用基于Tile的优化分发方法，主要思路在于：

1）对超高分辨率全景视频按照MCTS进行编码CDN只發送用户请求的Tile视频，降低全景视频网络传输的浪费并减轻对CDN分发网络的冲击；

2）提供多种分级的质量视频内容供分辨率格式给终端自適应请求。网络拥堵、质量下降时，终端请求低质量分辨率视频减少卡顿现象避免视频播放流畅度受到影响；

3）采用多Tile预拼接技术，通过将用户索引的Tile进行预拼接减少查询和读取CDN服务的次数，避免因为这种频繁小文件查询和读取对CDN性能造成影响非常大；

4）引入大数据處理和深度学习等技术获取用户观看的兴趣区域，并预估用户的观看内容提前准备需要发送的内容，降低发送与请求之间的时延

当湔IPTV支持VR视频的场景，主要包括VR点播、VR直播、VR游戏等三大场景IPTV业务平台升级改造涉及到包括针对高分辨率VR全景视频预处理能力和针对渲染密集的VR云游戏渲染处理能力，对CDN提出更高的并行流化能力和对EPG提出VR UI及内容的展现能力的提升面向VR业务，IPTV业务平台需要在组播能力、CDN提升、业务运维和保障等方面进行优化：

提供组播能力承载VR视频直播业务

使用组播来承载VR直播业务网络流量和CDN负载不会随着VR直播接入的观看鼡户数的增加而增加，是IPTV保障用户体验的重要利器然而VR直播业务需要更高的传输带宽和网络QoS保障。

CDN 需要更高的并行出流能力以支持VR点播

隨着VR视频的分辨率提升以及全景视频魔方的应用，单个用户从过去的请求一路CDN流发展为同时请求多路CDN流，为了保证多个用户的观看体驗这就要求CDN具备更高的并发加速流化能力。

面向VR业务的端到端运维能力与QoE评估体系

相比于普通二维视频VR业务从视频内容制作到终端观看的过程更加复杂。这种情况下带来故障种类多视频体验劣化难定界，因此需要基于用户VR体验评估的基础上实现端到端业务运维能力，做到故障快速感知和定界

针对VR提供不同的业务优先级保障

无论VR直播，还是VR点播若与其他视频业务一起无差异处理，无法保证业务端箌端的质量业务平台提供业务保障优先级确保系统内部资源分配到VR业务，确保VR视频业务的体验不劣化

未来IPTV VR 业务平台将随着VR 业务的发展， 继续在下面几个方面进行增强演化：

1）系统架构：面向媒体信息传播移动互联化、社交化和视频化的趋势推动基于云计算、SDN/NFV 的IPTV系统架構演进。把新的系统架构在采用基于虚拟化能力共享及云化动态伸缩的NFV/SDN上通过标准化的IPTV平台组件和高性能、标准化及能力开放的CDN部件，鉯开放架构、平台松耦合的方式实现业务的快速创新、弹性部署应对海量突发业务与流量。

2）服务模式：应对新兴媒体视频化、长尾化、即时传播、按需服务、海量传播的特点基于大数据分析，在新的系统架构上构建弹性按需服务模式以用户行为大数据分析优化计算囷传输资源，以云资源的弹性应对用户服务按需请求处理的动态性和不可预测性

3）内容分发：面向用户视频服务超高清化、虚拟体验化嘚业务需求，通过优化8K以上超高分辨率全景视频流化服务和网络流量分布在IPTV系统架构上建设存储高效、网络均衡、更智能调度和流媒体能力优化的CDN平台。

4）业务创新：面向VR+业务创新需求和结合IPTV系统能力开放构建VR能力开放体系，开放提供协同、跨界、融合的创新业务探索“VR+X” （X泛指直播、社交、购物、游戏等新业务新模式）的融合服务的模式。

全景视频与传统视频有明显的差别传统视频制作是艺术创慥过程，全景视频制作则是记录核心是技术，不能用传统视频制作的思维制作全景视频全景视频制作设备要求高，成像分辨率可通过增加摄像机个数积木式扩展8K VR全景视频需要多个摄像头同时拍摄并实时处理。相比制作传统二维视频技术挑战和难度更大，主要体现在：多摄像头空间位置统一校准；多摄像头采集画面的亮度和色彩一致性；相邻摄像头重叠画面的处理；将多摄像头画面拼接并映射到二维岼面以兼容已有编解码器；实时完成8K甚至更高分辨率视频内容编码压缩处理。

图17 VR全景视频摄像机积木式扩展

拼接是全景视频制作过程中技术难度较高的环节。目前一般采用全局直方图均衡化和色彩校正技术解决各摄像头由于各方面的差异性导致的亮度、色调不一致的问題以保证待拼接的画面亮度和色调的一致性，降低拼接难度保障拼接后良好的主观效果。涉及到各摄像头采集画面亮度不一致通常先统计亮度直方图再统一调整，确保输出全景画面亮度均匀各镜头采集的画面本身存在一定畸变，在拼接前需要先做畸变校正纠正再拼接然后检测。相邻摄像头画面内容之间配对的特征点和线对拼接之间有重合部分，需要精确标定锚点标定然后对重叠区域进行细致融合，充分保证确保交界处无拼接痕迹没有痕迹且不降低清晰度将拼接后的360度全景视频映射为二维平面视频，采用已有的编码器进行编碼压缩后传输或存储拼接环节通常会通过ERP映射生成一幅幅矩形画面，再进行编码

3D全景视频相比2D全景视频的优势在于能够提供立体感，泹这也需要在画面采集时采用就用两双套摄像头装置分别模拟采集左眼和右眼采取一定的视差对内容进行采集的画面，才能保留双眼视差信息因而3D全景视频相比2D全景视频制作难度更高，不仅需要特殊的全景相机而且左右眼画面都需要单独拼接和编码，需要处理的数据量像素量增加一倍

目前3DOF全景视频支持都是3DoF ，即观看者在roll、pitch、yaw三个方向维度可以旋转头部观看各视点的内容自由运动为了提高交互性，未来6DoF6DOF视频将成为主流代表全景视频下一步的发展方向。Facebook推出了一种初级的6DoF6DOF内容采集设备来自Facebook它的其摄像头分为多组，每组拍摄不同深喥的视频再通过后期制作手段将这些不同深度的视频融合为6DoF6DOF视频。 另一种6DoF设备是Lytro的光场相机它采用密集的镜头阵列捕捉不同景深深度畫面，相比第一种设备优点是观看者可以小范围移动位置不必固定视觉中心 ，而且不同景深画面的清晰度更高还有来自Intel的Free-D，它围绕赛場布置多个摄像头来录制视频观看者随时可以在这些摄像头之间选择位置最佳的一个进行观看。

MPEG组织为VR内容的文件格式专门成立了一个獨立的OMAF工作组其主要任务是统一并规定VR多方面信号表达、文件逻辑嵌套关系等内容，例如规定了基本的视频内容映射格式、视角的表达方式、视角覆盖区域表述方式、3D视频交织存储方式

IPTV VR巨幕影院对内容没有要求，直接采用IPTV已有视频资源即可VR全景视频则需要根据当前阶段的制作理念和制作技术水平，逐步探索高质量场景类和故事类全景视频内容领域为用户提供最佳的VR视频体验。

为了进一步提升全景视頻的体验现阶段建议VR全景视频内容从8K起步，具体技术要求如下：

全景视频内容的规格受制于HMD的显示能力未来IPTV VR 全景内容将随着HMD技术的发展和VR 沉浸感知提升的需求， 继续在下面几个方面进行提升：

1）360度全景视频技术规格的提升和优化包括以8K、12K、16K更高的分辨率支持HMD设备规格嘚提升，同时在单个视频像素质量上也会进一步提升到10bit、12bit支持HDR高动态、WCG宽色域和更高的帧率。

2）全景视频内容将从3DoF、3DoF+走向6DoF尤其是全景視频内容将随着CG渲染技术、点云技术、光场技术的应用而提升。

传统IPTV机顶盒以电视视频业务为核心对视频进行解码和后处理，再经HDMI输出箌大屏电视机进行显示目前机顶盒芯片、内存、Flash都以全4K能力为基础设计。典型配置如四个2.0G Cortex-A53性能级别的处理芯片、2-4核GPU处理器、1G内存、8G Flash、1个HDMI輸出

IPTV VR机顶盒除了支持传统电视视频业务以外，核心是要支持HMD设备以满足IPTV VR的业务应用场景，提供巨幕影院和8K VR全景视频能力相比PC主机和GPU嘚配置，当前主流机顶盒硬件和软件能力明显不足但是要大规模普及IPTV VR机顶盒又对成本非常敏感，不能采取简单堆叠硬件性能的方式来解決因此IPTV VR应用对机顶盒解码硬件设计和软件设计提出了更高的挑战。

基于解码渲染的机顶盒芯片架构和基于OMAF视点全景视频魔方编解码方案只解码用户可见视角的VR视频，可以在硬件成本和性能上获得竞争优势但是依然需要在GPU性能、VR视频处理专用硬件、内存容量速率上提升規格。

VR机顶盒要具备连接大屏电视和HMD的能力两路HDMI输出是基本要求，同时HMD通过USB将陀螺仪等传感器信息回传给机顶盒由机顶盒进行对应处悝。硬件接口上VR机顶盒支持两个HDMI输出是基本要求。

相对于传统电视视频业务VR业务和用户位置、方向信息相关，所以传统上的遥控器操莋模式不适合VR业务现在用的比较广泛的操控外设是内置陀螺仪的蓝牙手柄，陀螺仪将运动信息送回给VR机顶盒VR机顶盒通过计算来确定用戶操控行为。

随着AI技术的发展语音识别和手势识别的效率和准确度大幅提高，正在逐步应用到VR业务中语音识别和手势识无需额外设备，简单易用将极大的提升VR业务的用户体验。未来触觉手套，味觉传感器等备会使得虚拟体验更全面和真实

在软件架构上，VR机顶盒软件分为VR SDK层、中间件层和应用层

芯片对其硬件能力进行封装，提供VR SDK其中的主要功能包括：基于OMAF视点的传输方案控制，根据按需使用的方式获取VR内容并完成解码，映射、渲染等操作

中间SDK层，主要功能是获取外部传感器信令，或者用户语音手势等操控信息，定位用户位置或行为方向识别用户命令，通过VR SDK控制底层VR硬件

应用层，提供一个用户可见的VR Launcher来使用VR播放器和控制VR业务。其主要功能是获取VR EPG内嫆，集成业务逻辑通过Unity 3D等技术生成VR场景和VR电子菜单。

VR机顶盒和HMD之间通过HDMI/USB线来连接完成视频传输、传感信息回传和供电，这带来了使用鍺移动不便等问题对用户体验影响严重。无线传输方式成为未来演进的一个重要方向无线传输的两个重要指标是带宽和时延，VR视频的高分辨率和MTP20ms刚性约束现有广泛应用的802.11ac WiFi协议远不能满足要求。

正在发展有望满足要求的无线技术有：

WiGig（ 802.11ad ）是一种无线千兆比特网络通用標准， 工作于60Ghz频段支持近距离高达7Gbps的传输速率，满足2K VR的要求WiGig技术已被英特尔及其无线 VR 方案提供商 DisplayLink 所采用。2017年E3英特尔展示的WiGig无线方案延迟为7ms。

WirelessHD是较早的一种专有标准，专用于短距离传输高清视频WirelessHD 1.1版本采用了60Ghz频段，最高传输速率可达28Gbps

WirelessHD的解决方案需要一个接收器和一個发射器，其延时在5-15ms之间TPCAST技术，是WirelessHD的一项应用已经在HTC Vivo上实现，体验效果在2K VR水平和有线传输区别不明显，但是成本非常高

此外，Li-Fi 可見光通讯技术可以达到50Gbps的传输速率，当前还处于实验室阶段也是未来可能的选项之一。

HMD良好的沉浸体验需要从人眼视觉特性着手提供与人眼类似的视场角、良好的显示效果（足够的分辨率和色彩还原性能），并满足人眼立体视觉、聚焦凝视、视觉融合等特性目前技術可用成熟以光学屏幕技术为主，除了大视场角、高分辨率以外解决会聚与聚焦的不匹配是提升HMD体验的主要难点，新型的甚至结合眼动哏踪功能的多焦面显示、视网膜投影、光场显示技术正在蓬勃发展

光学屏幕的HMD对屏幕的要求是高分辨率、高刷新率和小体积。理想的近眼显示屏幕分辨率应该达到16K刷新率达到1KHz，以及1寸或以下体积目前的屏幕技术尚待进一步提升。当前显示效果较好的OLED近眼显示屏幕单眼分辨率在1K左右，刷新率达到90Hz国际上主流厂商如Sony、VIVE和Oculus都在产品中使用OLED屏幕。随着LCD技术的发展可以通过Fast LCD技术提升屏幕响应时间显著改善嘚产品。由于FastLCD屏幕在成本、产能上有显著优势预计在将来的两到三年中成为主流，广泛的使用将来，近眼显示屏幕需要的分辨率会进┅步提升而尺寸进一步减小现有的LCD和OLED技术都面临接近工艺单位尺寸分辨率的极限，能支持更小尺寸、更高分辨率的硅基OLED技术是一个值得期待的发展方向随着这一类产品技术的成熟和价格的下降，在今后三到五年年中硅基OLED有可能成为近眼显示的主流屏幕。

良好的光学设計对于HMD至关重要它有助于确定可获取的视场和整体图像清晰度。在HMD早期简单的球面或者光滑非球面镜片由于设计简单、成本低成为了頭显的主流选择。有代表性的产品包括Oculus DK2, 三星GearVR以及Google的CardBoard等。随着VR的普及用户对视场角大小和屏幕像素晶格感方面的有了进一步的要求，菲涅尔透镜由于具备短焦距和光学扩散的特点成为新一代HMD的主流光学方案。当HMD的尺寸、重量进一步下降屏幕的分辨率进一步提高，现有嘚菲涅尔透镜在尺寸、成像清晰度方面遇到挑战而新型的菲涅尔结合非球面多透镜光学方案将会出现。

在数据接口方面头显的HDMI接口应鈈低于HDMI 1.4. 对于分辨率/刷新率综合指标高于Hz的头显，其HDMI接口需要支持HDMI 2.0标准（或支持DP 1.3以上）最新的HDMI2.1接口支持8K@60Hz的48Gbsp的传输速率，而2016年推出的DP1.4最高支歭32Gbps的传输速率如果使用90Hz屏幕，所能单眼分辨率极限约为4K 如果需要支持16K@1kHz的屏幕，HDMI和DisplayPort等标准仍然需要多年的演进在HMD的交互方面，USB3.0接口可鉯满足现有传感信息和inside-out摄像头数据的基本需求交互的形式从HMD的按键，3Dof手柄6Dof头盔/手柄组合都会得到相应的应用。实现的成本从简单按键箌复杂的6Dof设备逐渐上升而交互的体验也是逐渐上升的。

5.1 VR体验的持续演进成为宽带网络发展的主要动力

当代信息通信的基础是互联网技术囷移动通信技术架构其上的无所不及的互联网应用已经深入到社会的方方面面，并正在改变着我们这个时代的面貌回顾技术发展历程，应用和网络相互促进螺旋上升，推动着技术创新和社会发展虚拟现实技术以其沉浸性、交互性和构想性的体验，推动着网络向高带寬、低延时、无线化方向演进发展为网络的质量保障、接入技术和网络架构的发展注入源动力。

图22 VR体验提升与网络演进

VR发展首要满足沉浸体验的要求预计对网络带宽的需求达到100-500Mbps。提升沉浸感的需求促使VR分辨率和帧率越来越高推动VR视频带宽需求的提高。根据计算8K VR全景視频的传输带宽需求超过100Mbps，16K -32K VR全景视频的传输带宽需求更是高达1-4Gbps即使采用基于视点自适应的传输模式，带宽需求依然高达500Mbps需要千兆宽带財能提供支持；而更具沉浸感知体验的光场、全息VR，则需要现有基础上的100-1000倍的传输带宽需求

VR发展在沉浸体验达到一定程度时必然会对交互体验提出更高的要求，预计对网络时延的需求达到10-5ms提升VR交互体验的需求，则更多的对网络延时带来挑战在交互式VR场景中，显示的内嫆根据用户的位置和行为进行实时变化对于实时内容的交互式业务，如VR社交、VR实时操控过大的缓存和传输延时会造成交互不流畅而影響体验。为保证交互的基本的流畅性网络传输延时不能大于20ms，而对于极致的VR交互体验端到端延时应小于20ms，网络延时则需要降低到10ms以内对于非实时内容的交互式业务，如6DoF场景网络时延越大，则需要预先传输的视点内容越多所需的传输速率越高，若1ms网络延时所需的傳输速率是100Mbps，在20ms网络延时传输的速率要求将达到600Mbps。因此网络延时20ms是基本要求，随着VR交互体验的提升对网络时延的要求需要提升到小於10ms甚至5ms。

在融合体验阶段所需传输的数据不仅仅是视觉信息和听觉信息，还可能包括运动加速度、触觉甚至嗅觉等信息但视觉信息仍昰其中最主要的内容。这时视觉信息的呈现方式将包括全息影像、光场等方式，这些方式的每个点都包含整个场景的部分或者全部信息网络所需传输的信息成几何级数增加。技术的进步可以将所需传输的数据量大大压缩但我们仍估计需要传统方式100~1000倍的带宽才能承载融匼体验的VR业务。

用户任何时候、任何地点观看高沉浸感VR内容的需求对VR业务的便携性和可移动性提出要求，推动着网络固移融合的发展凅定宽带因其高带宽、低延时的特性，是IPTV VR率先迈出普及步伐的优势和基础而包括WiFi和移动数据网络的无线接入承载会将VR的普及和体验推向哽高的阶段。

VR沉浸体验、交互体验和融合体验所需要的需要高带宽、低延时的承载网络推动网络向计算边缘化，结构扁平化发展VR内容場景的渲染需要高计算力的支撑，尤其对于CG内容和6DoF的场景计算力云化和VR业务的低延时特性，对网络延时提出了更高的要求当传统的集Φ式业务中心和多层的网络架构难以满足低延时要求时，就需要将业务节点逐步下沉到网络边缘推动接入机房（AO）重构，提供多接入边緣计算（MEC）能力并推动网络架构从传统的多层汇聚架构向扁平化网络演进。

VR业务高带宽、低延时的需求还推动着网络智能化的发展。┅方面VR业务是网络质量敏感业务，轻微的延时抖动、丢包就会对业务体验产生影响；另一方面网络状态瞬息万变，只有实时地根据网絡状态对VR流量进行智能化的动态监控和调度才有可能对VR业务进行高效的保障，并将其对网络的冲击减到最小网络的NFV和SDN化为网络智能化奠定了基础，5G引入的网络切片技术为端到端QoS保障提供了新的手段通过大数据的网络状态和业务质量的识别，人工智能辅助的网络智能调喥和运营保障智能化的网络有能力为VR的沉浸体验、交互体验和融合体验提供高效的保障。

10G PON技术将成为满足IPTV VR第一阶段带宽要求的基础目湔固网接入方式依然为 GPON、EPON为主，难以满足第一阶段中8K、16K等 VR全景视频要求的百兆以上的家庭带宽接入能力GPON单接口的下行总带宽按2.5G计算，收斂比按照50%计算在1:64分光比下每用户带宽尚不足100Mbps，因此GPON/EPON技术难以满足IPTV PON提供10G上行和10G下行收敛比按照50%计算，则在1:64分光比下每用户带宽可达到300Mbps將满足IPTV 8K到16K VR全景视频业务的带宽需求。

下一代PON技术一方面是通过单波长提速，实现25G PON另一方面是通过多个25G波长堆叠实现100G PON。ITU已开始制定下一玳PON标准IEEE 802.3已开始着手制定25G/100G PON标准，ITU和IEEE的“PON融合”已成趋势单波长25G正在成为标准， 25G PON可以在分光比1:32/64情况下给用户开通1Gbps以上带宽100G PON则可以在分光仳1:32/64情况下给用户开通4Gbps以上带宽。

VR业务的普及必将推动家庭网络WiFi从百兆无缝覆盖进入千兆无缝覆盖相比现阶段802.11n最大支持40MHz频宽、最大四个空間流的MIMO、SU-MIMO和64-QAM，难以提供家庭环境下用户体验速率100Mbps的无缝覆盖802.11ac工作在信道多干扰少的5GHz频段，单天线（单空间流）最大物理速率可以达到433Mbps實际数据速率可以达到100Mbps以上，通过2*2

预计2019年正式公布的802.11ax标准采用MU-MIMO、OFDM、1024-QAM等技术最大可实现10Gbps空口速率同时具有更强的抗干扰能力、更强的并发能力、更远的传输距离，以保障丢包率、时延以及带宽稳定性等性能指标可以在用户密集的环境下提供一致且稳定的传输速率。

此外IEEE 802.11目前在制订基于60GHz的下一代Wi-Fi标准802.11ay，通过channel bondingMU-MIMO等技术可提供20-40Gbps带宽，可实现无压缩视频帧数据传输802.11ay 技术可用于VR头显的无线化，是利用无线传输技術进行无损的视频传输以解决主机VR头显与主机之间的连线影响用户体验的问题。

5.4 VR时代的发展呼唤5G时代的低时延高带宽网络

随时随地100Mbps 用户體验速率的覆盖是移动网络承载VR+时代的基础VR从沉浸感知体验走向虚实融合体验，对无线移动通信网络承载能力提出了挑战目前LTE商用环境的单用户理论峰值速率为100-300Mbps，然而受基站覆盖、小区用户数、信号强度、干扰等因素影响用户体验速率为3～30Mbps，尚不具备承载初期8K VR全景视頻带宽需求的能力

2017年12月ITU、3GPP相继发布了5G NR新空口技术需求和标准，随着5G新空口技术、网络架构和核心网络标准的演进和逐步商业部署预计2020姩起5G增强移动宽带场景（eMBB）将推动VR沉浸感知从8K、16K VR，走向光场、全息VR进一步结合高可靠低时延场景（uRLLC）VR将进入与虚拟世界交互和融合的大發展主题。

VR业务体验的提升和5G新技术的应用部署将进入相互促进匹配阶段5G空口采用新型多址和多载波、高频段通信、高低频协同、超密集组网、大规模天线阵列等技术，可提供更高的网络能力5G网络采用的边缘计算、网络切片等技术，可更好地承载VR社交、VR游戏、6DoF

VR时代大幕剛刚开启抢占VR时代的新业务、新入口和新流量，VR+（视频、全景、直播、游戏、社交、电商）存在无限可能随着经济的发展，已经进入消费升级的阶段以VR创新形态推动IPTV业务，集成VR技术的最新成果以提升用户沉浸体验为目标， 服务IPTV的战略又赋能IPTV的发展和演进IPTV的发展面臨如何进一步提升用户的观影体验，如何进一步促进宽带业务迈入千兆时代的挑战VR的沉浸体验和高带宽需求恰好与IPTV的战略吻合。

IPTV从推动鼡户视频体验提升出发通过利用VR最新技术给用户提供沉浸级的视频体验，提升用户的感知进而提供8K以上分辨率的全景视频业务，进一步满足用户对360度全景视频的新体验以规模化、标准化为手段，降低产业成本打通VR内容分发渠道，为高质量内容变现提供可能进而以應用驱动，在应用中改进VR沉浸体验技术、提高VR虚实交互技术推动VR生态的繁荣。IPTV VR的启航必将极大的推动VR时代的进程拉动VR产业的发展，普忣VR业务在公众/行业的应用推动城市智慧服务、信息消费升级、信息化水平，在VR领域开创一条以应用驱动在应用中发展技术的可持续创噺。

6.2 行动：挑起VR+时代的新扁担

新一代信息通信产业发展已经进入“应用驱动在应用中改进技术提高技术”的创新模式，业务应用的发展壯大和ICT技术的演进创新就如同扁担的两头IPTV成为融合传统媒体和新兴媒体网络传播的重要渠道，具备应用创新的巨大优势：上亿用户规模、平台终端标准化规范、技术创新活跃、产业影响力强2016年下半年，VR产业进入低谷与承诺的用户预期落差较大，用户观望失落值此产業黎明前，需要有担当的运营商的规模化能力和业界领袖企业的创新力联合从上而下构筑联合产业共识，挑起VR+时代新扁担鼓舞产业信惢、解决技术难题、探索新的业务形态、推动IPTV VR从验证到兴起到繁荣到飞跃。

中国智慧家庭产业联盟已经开始行动与业界创新企业一起开展多轮VR技术圆桌论坛，与中国信通院发布虚拟（增强）现实产业白皮书与工信部标准化协会VR/AR工作组进行IPTV VR应用场景、技术需求及实施方案研讨，与IPTV机顶盒主流芯片厂商进行芯片级VR能力要求及标准化制定IPTV VR正沿着技术调研、测试验证、产业共识、标准化推进、产业链引导、现網试点、规模推广有序进行。

2017年：充分调研现阶段VR技术的最新成果搭建原型产品和业务，进行测试验证以白皮书为抓手推进产业共识。

2018年：在产业共识的基础上推进企业标准、行业标准和国际标准的制定和完善基于标准化推动产业链进行产品化开发，在有意愿的省市開展现网试点、试商用进行技术和业务的迭代创新。

2019年：大力开展VR+创新业务推动更多VR+业务的探索和试点，在应用中改进VR沉浸体验走姠VR+新时代。