5G直播技术新基建正在迈入起航阶段
署名2021-01-07

目前5G直播技术新基建正在迈入起航阶段,5G直播技术相比目前广泛使用的4G,它具有更高的速率,更大的容量,同时延迟更低,可靠性更高。在5G时代,视频得益于网络带宽的提升,未来将成为主流的传播媒介。越来越多的业务和应用将视频化,直播化。大量互动的内容将通过5G直播技术以低延时的方式以视频的形式传输。

5G直播技术将对视频分辨率和清晰度提出越来越高的要求。淘宝作为一个数亿级用户的短视频与直播平台,业务多样,两端用户分布广,设备和网络情况复杂,给多媒体内容存储和分发带来巨大挑战。在内容生产过程中把控好质量和成本,在内容分发和消费过程中确保用户体验,是当前面临的主要问题。为了解决这个问题,我们有两个优化目标,一是在画质不变的前提下降码率,二是在码率不变的前提下提升画面质量。  

在降码率上,我们自研高效编码器,升级播放架构,添加智能ROI,场景编码,智能码控等工具,有效地降低了视频码率带宽。在这些直播技术中,高效的编码器能够在质量不变的前提下显著降低码率;场景编码能够根据不同的画面内容配置合适的编码参数;ROI挑出画面中人眼比较关注的区域交给编码器重点编码;智能码控根据人眼主观特性,消除因为超过人眼阈值而浪费的码字。  

在画质上,我们使用前处理增强,去噪,超分高动态范围等算法提高生产内容的观感质量;在体验优化上,通过低延时编码技术,在降低了编码延迟的同时损失很小的码率,增加观众和主播的体验。  

围绕着提高问题发现、问题处理效率的出发点,具备数据采集、存储、异常事件收集、智能告警、告警数据运营、可编码诊断平台、故障自动化处理、变更联动等能力。我们搭建了一套基于淘宝直播技术的全链路监控体系,从音频,视频,网络这三个方面入手去解决目前淘宝直播全链路的现有问题以及将来可能出现的问题。不断去优化整套高画质低延时系统。  

与此同时,我们建立了客观质量和主观质量评价体系,采用vmaf,psnr,ssim这一系列的指标作为客观质量评价。针对海量无源场景,我们还基于cnn建立了无源评价模型,保证无源场景下质量评价的准确性。以这些有效的评价手段来确保“画质不变”,并监控线上视频质量。  

由于当前淘宝直播技术种类的丰富性,各种场景下的纹理,光照,背景,运动程度都是不一样的。户外主播经常走动,画面帧变化幅度频率高。美妆主播大多坐在室内,光照基本上比较偏亮。珠宝类主播主要是拍摄物品,画面多静止不动。面对形形色色的直播场景,单一的编码器配置并不能满足当前淘宝直播的需求,开启或关闭某些编码工具对视频编码效果影响不一致,如何针对内容选择最佳参数成为业界研究的方向。  

在此需求下,我们提出了基于不同场景的编码参数配置策略。首先,我们通过多个深度学习与机器学习模型对数万条各种内容的直播视频进行了数据训练分类,包含两个大的特征维度,分别是语义特征和信号特征。语义特征包含:主播分级,商品特征,环境特征,声音特征,时域空域RoI。信号特征包含:运动特征,纹理特征,噪声特征,亮度特征。通过对不同特征种类的视频集,我们单独使用大规模服务器集进行最佳编码参数搜索,自动化高效地搜索到适合当前视频编码的最佳编码参数组合,在提升画质的同时能尽可能地减少码率消耗。并最终根据编码参数集进行聚类分为多个参数配置项。  

在主播需要推流的时候,首先进行标准的编码参数配置进行推流。收集一定的数据之后,我们将得到的视频语义特征和信号特征送入自适应决策引擎,通过里面的深度神经网络进行视频分类,决策出当前视频应该下发的编码参数配置,然后我们将新的参数配置重新送入编码器进行新的推流,以此优化使主播获得当前情况下最优质的视频编码。通过此方法,我们在淘宝直播里面获得了7-10%的BDrate收益。在淘拍场景下获得了40%的BDrate收益。  

在淘宝直播的场景中,大主播有自己的专业设备与团队,直播出来的视频与音频都是比较高质量的。但是针对中小主播,用户的行为不可控。因此产生的结果就是很多中小主播产生的视频质量比较低,收获的观众数量也比较少。针对这种情况,我们选取了用户习惯产生最严重的几种情况,对这一类主播进行了画质增加的,显著提升了用户的直播体验。  

直播技术现代编码器能够较好的处理平坦纹理和平移运动,前者通过帧内预测来消除空间相关性,后者通过运动搜索来消除帧与帧之间的时间相关性。但是在视频采集过程中,由于摄像机抖动产生的视频帧抖动,编码器不能够很好的处理;由于抖动剧烈的一般是中小主播,且携带的设备比较老旧,我们考虑从采集源来改善视频帧,最终在这里我们采用相机路径平滑算法来去除视频帧中的抖动。  

我们设计的端到端延迟分段统计系统,既能统计单次播放的延迟,也能统计每个阶段延迟。不依赖ntp时间,适合超大规模网络。通过分析不同平台推流端,服务器,播放器各个阶段的延迟情况,大盘展示出来,可以针对专项做优化。