5G将至，智能家居产业正在从以家庭为中心的互联智能阶段，过渡到以用户为中心的智慧家庭阶段，电视大屏也在此过程中完成从泛娱乐平台到智慧服务平台的进阶。31日下午，在“5G连接——从智慧家庭到智慧生活”论坛上，与会嘉宾对5G时代智慧家庭的发展进行了探讨。天翼智慧家庭科技有限公司技术专家罗传飞博士做了主题为《体验创新引领超高清产业》的演讲。

我的题目是“体验创新 引领超高清产业”。视频体验联盟是2016年在工信部信通院牵头下，电信、移动、联通、爱优腾和总局规划院共同发起，共推视频服务用户体验标准。我们这个联盟应该说是一个草根联盟，在2016年成立的时候发布了国内首个用户视频体验的白皮书;2017年主要的工作是在通标协，我们正式立项发布了视频体验标准1.0;2018年基于行业标准做了首个涵盖有线电视、IPTV、OTT和移动视频四类主流服务平台的用户视频体验白皮书，涵盖了主流的视频服务平台。众所周知，2018年超高清很热，所以我们也跟超高清联盟做了一些事情，主要针对超高清用户体验评测、家庭Wi-Fi网络承载超高清的标准和规范做了一些联盟的团体标准。今年我们主要围绕VR做了一些工作，比较标志性的节点是在5月9日世界超高清产业大会的时候，我们发布了国内超高清质量评价白皮书，不久前的世界VR大会上也发布了VR体验标准的技术白皮书。后续我们会继续做一些跟体验相关的、超高清相关的标准。

《中国视频消费用户体验白皮书》

我简单讲讲2018年发布的《中国视频消费用户体验白皮书》，结论是，目前IPTV的体验是最好的，背后的原因也很容易理解，因为IPTV的高清化和4K化，即终端能力远超有线电视和OTT、移动视频。这是因为终端能力包括智能化、高清化、4K化的占比大幅超过有线电视和OTT，虽然有线视频质量比较好，但由于大量终端都是非智能非高清终端，所以整体的用户体验是低于IPTV的。这个白皮书还有一个结论，我们发现视频源的质量是制约各类视频用户体验提升的最短板，为什么用户体验不好?是因为内容源质量不好。大家都知道IPTV从新媒体播控这边做了集成播控、转码，再通过运营商的网络、运营商的终端给用户看的，这里内容源的质量需要有很大的提升空间。

《中国4K超高清视频质量现状及分析报告》

接下来，给大家简单介绍今年发布的《中国4K超高清视频质量现状及分析报告》。刚才也说到2018年报告发现内容源是最大的短板，所以2018年工作的逻辑是，我们集中做4K的内容质量分析，因为2018年、2019年都是讲4K，所以我们蹭热点，标清和高清的情况不做了，主要看看国内的4K质量处在什么情况。我们采样的数据还是比较全的，基本上涵盖了央视的直播频道，就是央视第一个4K直播频道，还有广东省两个直播频道，也涵盖了移动、联通、电信的4K专区和爱优腾的4K专区，我们发动联盟100多家单位随机采样内容。这里提一个新指标，叫做4K指数。因为大家都有一个观点，现在很多4K内容是拉升上来的4K，所以工信部也非常关注这个问题，问我们有没有一些手段和方法来评测这个4K是真4K分辨率还是假4K分辨率，所以我们提了一个4K指数。我们通过分析视频的高频和低频的特征，可以区分出这个4K内容是从高清拉升上去的，还是一条龙都是原生4K，4K指数就是分辨4K视频是不是经过了上下变化。

我们发现，直播4K指数平均值为2.5，基本均为原生4K视频;模糊度平均为5.2，清晰度远高于高清频道信号。格式参数方面，转换曲线为HLG、位深10bit和色域BT2020 ，有效码率基本在30Mbps左右，帧率为50帧/秒，为了支持非HDR终端，在二级播控环节也经过转码提供SDR、8比特和BT709信号。点播方面，部分视频4K指数较高，为非原生4k视频;模糊度平均为9.18，画面清晰度低于4K直播频道。格式参数方面，转换曲线大部分为Gamma、位深为8bit、色域BT709、帧率为25帧/秒，少量的转换曲线为HLG/PQ、位深为10bit、色域为BT2020、帧率为50帧/秒。大量号称4K的内容是非原生4K视频，模糊度比较高，画面清晰度低于4K直播频道。虽然国内4K超高清产业好像很火热，但是从4K视频的质量和数量来说还是很严峻的，的确是制约超高清发展的最短板。

《虚拟现实(VR)体验标准技术白皮书》

《虚拟现实(VR)体验标准技术白皮书》是不久前在南昌发布的。核心洞察是，现阶段的VR体验，终端是基础，内容和应用是最核心的，网络平台是保障。所谓终端是基础，就是现阶段VR体验不够好，主要体现在终端创新上还无法满足用户对VR的期望，比如终端一体机比较重，佩戴的舒适度不是太好，一体机FOV偏小，在100度左右。如果用户长时间戴一体机，有点像戴望远镜看世界的感觉。重量问题，虽然华为出的VR Glass的重量大幅改善，采用短焦距的光学方案，但由于FOV反而变小了所以用户体验还是上不去。要提升用户体验，VR终端的创新是基础，产业还需要不断加强VR终端的创新，进一步减轻重量，提升用户的佩戴舒适度，进一步提高屏幕分辨率和光学体验。

在内容方面，提升VR视频内容到8K全景分辨率是起步，尤其是360度的全景视频，如果不到8K，用户体验会非常差。8K、360度的内容在VR体验，非要划一个等线的话，大约在电视标清的水平。我们同时发现VR视频3D立体景深的视觉效果是刚需，大家都觉得3D在电视上没有场景逻辑，但是我们觉得3D在VR里面是刚需，逻辑非常强。同时内容的帧率，尤其对于VR视频来说，我们认为帧率应该大于60帧。帧率对于提升用户体验非常敏感，甚至提议达到90帧的高帧率视频。

在这样的内容要求下，网络和平台的保障就显得尤为重要，光纤和5G网络的高带宽和低时延，加上强大的云端渲染能力，就能给用户带来好的VR体验。

8K、多视角、超分辨

介绍了三个白皮书，再挑几个热门词讲讲，我只讲结论，背后的逻辑大家有兴趣可以多交流。现在8K很热，我们也一直在思考8K的逻辑在哪里。8K其实需要一个新的定义，一个新的逻辑，就是我们不能按传统的从标清到高清，高清到4K的分辨率逻辑来看8K。如果还是用老的分辨率逻辑看8K，我们会进入一个产业的死结，根本无解。

回过头来看从标清到高清，核心是分辨率提升，使用户体验得到一个很明显的感知提升。高清到4K、到4K HDR，其实分辨率已经不是最短板，这也是为什么用户说我已经开了4K，但好像体验并没有很惊艳，我们认为核心不是分辨率，而是HDR。从4K HDR到8K的逻辑是什么?如果说分辨率就完全偏离了，我们认为需要一个新逻辑，核心应该是AI或一些其他什么东西，但一定不是分辨率，也一定不是HDR。从高清、到4K、到8K，8K不仅是分辨率，8K应该是一种能力的总和，比如8K视频高分辨率、HDR、沉浸声，4K都讲过了，没什么区别，但更需要提升8K的低时延解码。传统的广播电视保证实时解码就行，并不需要超低时，只保证每秒25/50帧输出就行了，40毫秒或20毫秒解码输出就行了。如果8K结合VR来说，它要超低时延的解码，这是现在所有的机顶盒芯片都不具备的。

如果说合8K的逻辑来讲，未来多视角、多视窗业务会成为一个趋势，但它要支撑多个视角的同步，但我们做到帧级同步是非常难的，现在的机顶盒都不具备这个能力。如果要把8K应用到VR上，它要支持360度全景视频解码和输出，那么就具备Tile的能力。我们觉得8K还要有AI能力，至少要有超分辨，如果家里买了个8K电视机接了8K机顶盒，它一定需要把视频规格超分辨变成8K来输出，才不浪费这些硬件的投资。还有帧率，它对体验是非常重要的，还有智能语音、智能视角，甚至机顶盒要做成家里的娱乐中心入口，它要具备边缘智能。在这块，对于质量、设备和内容的交互都很重要，这都需要通过AI来加持。

再回过来看，8K不仅仅是一个机顶盒，它至少应该是一个智能机顶盒或AI机顶盒。为什么说8K不只是一个机顶盒，除了刚才所说的，它的成本非常高的，现在4K机顶盒的价格只是150元，8K做成500元的机顶盒大家肯定不会买，所以8K不能仅是一个机顶盒。我们怎么突破?是否要让它做更多事情，比如还可以做一个VR的主机，除了做机顶盒，还可以做VR的主机。它还可以做家庭智能助手，包括大家觉得智能音箱是一个入口，我们把这个做进去能否能分摊8K带来的成本压力?所以说8K要重新定义，同时它的逻辑也需要重新思考。

第二，多视角。我们最近跟华为一起做超高清多视角白皮书，预计12月正式发布。传统看电视都是一个画面，用户体验和业务形态都没有新变化，这样用户的感知不够明显。为什么做4K、8K?由于我们的屏幕变得更大，电视机变得更大，所以要有更高的分辨率才能保证用户的视频体验没有降低。屏幕更大，意味着可以给用户传递更多的视觉信息，而不是原来一个画面的信息，所以未来多视角肯定是一个趋势，多视角也有它独特的应用价值。

第三，超分辨，尤其是基于深度学习的超分辨质量提升技术，从2014年开始到现在大致分成三个阶段。第一阶段，2014年提出单链路浅层网络，即使采用这个相对简单的网络，比传统的线性拉升，在测试数据集上也能提升3dB;第二阶段是用了递归学习和稠密连接等技术，叫多链路深层网络，这个在2017年、2018年，包括今年还大量在用这个技术，它进一步提升，又比第一个阶段提升约2dB;第三阶段是对抗神经网络，前段时间大家在微信上玩过“zao”APP的换脸功能，它就是用的对抗神经网络。对抗神经网络做下来还是在37、38dB阶段，并没有很大突破，但是它的应用，包括它的潜力远远超过了第一阶段和第二阶段的方法。我们从深度学习的技术路线可以看出超分辨还有很大的应用和价值所在。

在这里我给全国AI+4K+HDR大赛做一个广告，这种全球大赛已经有两个，应该说这两个是跟顶级计算机视觉会议并行的，但这两个大赛的侧重点也有不同，一个是说我怎么高精度的去跟高分辨的内容匹配。还有一个，如果你单纯追求PSNR的高精度，人眼视觉看起来并不是最优的，所以又做了一个大赛，要人眼感知是最好的，这是两个技术路线。鹏城实验室这个大赛它的技术路线跟第一个有点像，追求的是高精度，还是采用参考的指标来评判。比如它用的是PSNR等三个指标综合评判。这个大赛截至今天应该接近300个队伍报名参赛，为什么有这么多人报名参赛呢?一个重要原因是它的奖励特别高，第一名奖100万，而且他做的事情就是从超分辨到4K，再到4K HDR。非常有价值。

新一代视频编解码标准

关于视频编解码标准，尤其是做终端、芯片都非常关心这个问题，在交流的时候也经常问编解码标准应用应该往哪个方向走。我简单分享一下我的个人观点，一个新的编解码标准被采用的关键，它在于是不是能够进入新的市场，是不是可以支持新的业务。如果仅仅从提升编码效率提升就要应用来说，这个逻辑已经不成立了，因为带宽流量已经大幅贬值，应用新的标准往往会导致总体成本和系统复杂度的大幅提升，所以很多人觉得编码标准是因为我的效率更高、算法更好就会得到应用，在今天看这个逻辑已经不成立了。从MPEG2到H.264可能是成立的，比如高清到4K，分辨率逻辑是成立的，4K到8K分辨率逻辑是不成立的。再比如为什么AVS2这两年能得到应用，它绝对不是应用在标清、高清上，而是应用在4K HDR上，因为传统H.264编解码无法解决这个新功能的需求。

介绍一下H.264的编码标准，2018年数据显示，现在H.264的视频流量份额还在增长，已经超过80%。如果大家关注技术的话，通过基于内容感知的技术特性，还会把264效率提升20%以上，即H.264的生命还会继续延长，这是为什么一个新的编码标准能不能应用不取决它的效率，而是取决于它有没有新的功能。第二，新的编码标准能不能用，应该是取决于整个生态，整个编码工具链成不成熟。

大家可以看一下VP8、VP9都是免费了，没有专利授权费，但为什么还干不过H.264呢?主要是整个生态链的不如。新一代编解码标准的代表性有三个。一是AV1，生态建设和产业应用都有所改进。如果大家关注AV1可以关注这个博客(https://www.singhkays.com)，每个礼拜都有更新AV1的进展。第二个VVC，VVC还是会沿用H.266的词，因为这个太深入人心了。这个标准预计明年中正式推出，这个标准在编码效率的工作已经全部做完了，同时在多功能特性，也叫新功能，比如支持游戏的屏幕，支持VR的独立子模块编码，这些新功能目前基本已完成了。我觉得H.266(VVC)还有很大的潜力，主要是做标准不仅关注编码效率，还同时关注新的特性，多功能方面的特性。还有国内的AVS3，2019年3月发布了第一版。AVS3会在2021年会发第二版，编码效率会继续提升，但是没有说一些新特性、新功能，意味着如果它还仅仅是只关注编码效率的，我感觉未来大规模的推广应用会存在一些问题。