AVS3 新一代视频编解码技术

为8K应用而生!
AVS3 新一代视频编解码技术

视频是智能时代信息获取的重要来源

视频是传递信息的有效载体也是智能时代数据获取的重要来源,伴随移动互联网技术的蓬勃发展,视频已无处不在。视频直播、视频点播、短视频、视频聊天,已经完全融入了每个人的生活。未来大众网络流量80%以上和行业应用数据70%以上都将是视频数据。

视频技术的发展从标清到高清到超高清,超高清视频是5G新媒体、VR、光场、裸眼全息等新兴产业发展的重要基础支撑,也是智慧医疗、无人驾驶等人工智能领域的重要内容支撑。这些新应用场景和商业模式重构为用户提供极致体验的同时,也带来了分辨率、帧率、色域、视场范围等成倍扩展,视频数据量到了井喷时代,视频的传输、存储面临着巨大的挑战。

视频是智能时代信息获取的重要来源

数据存储及传输是视频井喷时代亟待解决的问题

数据量巨大

56 Gb

未经压缩的视频
数据量巨大

存储及传输困难

16小时

未经压缩的视频对存储及传输提出极大挑战

编解码是保证用户视频体验的核心技术

编解码是保证用户视频体验的核心技术

如何在一定的带宽占用下,尽可能地提高视频的质量,或者在保持质量情况下,尽可能地减少带宽利用率?视频编解码技术应运而生。视频编解码是在摄像头采集画面和前处理后,采用算法将视频数据的冗余信息去除,对图像进行压缩、存储及传输, 再将视频进行解码及格式转换, 追求在可用的计算资源内,尽可能高的视频重建质量和尽可能高的压缩比,以达到带宽和存储容量要求的视频处理技术。持续为用户提供更高品质的视频体验。

编解码技术让8K超高清商用成为可能

重大事件直播体验 精品节目点播体验 改变在线教育交互方式
家庭巨幕观影体验 沉浸式游戏体验 改变SOHO工作方式
重大事件直播体验
精品节目点播体验
改变在线教育交互方式
家庭巨幕观影体验
沉浸式游戏体验
改变SOHO工作方式

左滑查看更多

通信能力的不断提高为超高清显示应用提供了基础支持,8K逐渐成为体育赛事、大型直播、电影等众多视听享受的主流场景。高分辨率、高帧率不仅带来了更好的视觉体验,更有助于传递更丰富的数据信息。而视频编解码技术的出现极大平衡了视频高画质视频重建及高效率视频压缩, 让8K商用场景落地成为可能。

编解码技术发展历程

编解码技术发展历程

SD

HD

4K UHD

8K VR/AR

SD
编解码技术发展历程

标清阶段:标清数码电视及DVD机阶段

90年代初期, ISO/IEC制订了MPEG-1视频标准用于低分辨率的视频会议; MPEG2为用于标清数字电视和标清DVD领域

HD
编解码技术发展历程

高清阶段:卫视频道视频标准提高

• 90年代后期,流媒体领域诞生了MPEG-4、H.263的标准
• 为了满足人们对高清视频画质更高的要求,ITU-T及ISO/IEC制订了H.264/MPEG AVC视频标准
• AVS工作组发布了第一代音视频编解码技术标准AVS+,对标同期H.264/MPEG AVC

4K UHD
编解码技术发展历程

4K超高清阶段

• 2013年,为人们对于4K超高清画质的追捧,ITU-T及ISO/IEC于制定了HEVC/H.265标准
• 2016年,AVS工作组于制定了第二代面向超高清音视频编辑码技术标准AVS2,性能比AVS1提升近一倍, 压缩效率与国际标准H.265/HEVC相当,在全帧编码以及监控场景编码中性能优于HEVC

8K, VR/AR
编解码技术发展历程

8K超高清阶段

• 2017年,国际标准组织开始制定下一代视频压缩标准VVC
• AVS工作组发布第三代面向8K及5G产业应用的音视频编解码技术标准

编解码技术发展历程

标清阶段:标清数码电视及DVD机阶段

  • 90年代初期, ISO/IEC制订了MPEG-1视频标准用于低分辨率的视频会议; MPEG2为用于标清数字电视和标清DVD领域
编解码技术发展历程

高清阶段:卫视频道视频标准提高

  • 90年代后期,流媒体领域诞生了MPEG-4、H.263的标准
  • 为了满足人们对高清视频画质更高的要求,ITU-T及ISO/IEC制订了H.264/MPEG AVC视频标准
  • AVS工作组发布了第一代音视频编解码技术标准AVS+,对标同期H.264/MPEG AVC
编解码技术发展历程

4K超高清阶段

  • 2013年,为人们对于4K超高清画质的追捧,ITU-T及ISO/IEC于制定了HEVC/H.265标准
  • 2016年,AVS工作组于制定了第二代面向超高清音视频编辑码技术标准AVS2,性能比AVS1提升近一倍, 压缩效率与国际标准H.265/HEVC相当,在全帧编码以及监控场景编码中性能优于HEVC
编解码技术发展历程

8K超高清阶段

  • 2017年,国际标准组织开始制定下一代视频压缩标准VVC
  • AVS工作组发布第三代面向8K及5G产业应用的音视频编解码技术标准

什么是AVS3?

AVS由数字音视频编解码技术标准工作组(简称AVS工作组)制定的一系列音视频编解码技术标准,包括系统、视频、音频、数字版权管理等四个主要技术标准和符合性测试支撑标准。AVS3是其第三代音视频编解码技术标准,适应多种位率、分辨率和质量要求的高效视频压缩方法的解码过程,在解码效率上优势明显,可广泛适用于电视广播、数字电影、网络电视、网络视频、视频监控、实时通信、即时通信、数字存储媒体、静止图像等应用。同时该标准是全球首个面向8K超高清产业、5G媒体应用及虚拟现实(VR)视频产业产业应用“量身定制的”的,具有“智能化基因”的音视频编码技术标准。

源于AVS,面向8K超高清应用而生

源于AVS,面向8K超高清应用而生

AVS面向智能编码技术持续演进

AVS面向智能编码技术持续演进

AVS3关键技术解析

块划分技术

帧内预测

帧间预测

变换

块划分技术

块划分: 缩短预测距离、提高图像预测精度

块划分: 缩短预测距离、提高图像预测精度

• 编码块划分技术,是把复杂多样的图像划分成多个矩形块,有针对性的以块为单位的图像进行有效的编码,最后再以块为单位去解码图像的过程。通常一个物体有多个组成部分,通常需要把它划分为多个部分,每个部分采用不同的预测模式,针对性的进行预测。

• AVS3中的块划分关键技术中包含了四叉及二叉树划分(QTBT)、扩展四叉树(EQT)和衍生模式树(DT)。可根据图像场景, 灵活分为“片划分”及“编码树单元”,DT模式中的非对称预测单元有效地缩短平均预测距离,大幅提高预测精度。

帧内预测

帧内预测:增加预测单元关联性,
提升预测效率

帧内预测是利用视频空间域的相关性,使用同一帧图像内邻近已编码像素预测当前的像素,以达到有效去除视频时域冗余的目的。

帧内预测:增加预测单元关联性,提升预测效率

IPF

IPF(帧内预测滤波 Intra Prediction Filter)对预测完的预测块边界的像素再次滤波,用于优化帧内预测块的边界,增加周围参考像素与当前预测单元之间的空间关联性,提升预测精度。

帧间预测:提升运动矢量预测精度

TSCPM

TSCPM(两步色度帧内预测Two-Step Cross-component Prediction)利用了亮度与色度之间的强相关性,去除分量间的线性关系冗余。
第一步:由亮度块进行线性缩放得到对应色度预测块的值Pc′ (x,y)。其中,系数α和β与亮度块邻近的四个样本点有关。
第二步:对色度预测块进行下采样得到最终色度预测块的值Pc

帧间预测

帧间预测:提升运动矢量预测精度

帧间预测是利用视频时间域的相关性,使用邻近已编码图像像素预测当前图像的像素,以达到有效去除视频时域冗余的目的。

AMVR

AMVR(自适应运动矢量精度Adaptive Motion Vector Resolution) 在编码端根据图像内容属性自适应选择1/4像素、1/2像素、1像素、2像素和4像素的运动矢量精度,
相比固定精度,减少了运动矢量差编码造成的数据。

HMVP

HMVP(基于历史信息的运动矢量预测History-based Motion Vector Prediction)在运动矢量候选列表中,除了时域和空域的候选列表外,还新增最近使用过的8个运动矢量组成一个基于历史信息的候选列表。这些运动矢量采用FIFO(First Input First Output)式排列,每增加一个新的候选项前先检查是否存在相同MVP。HMVP让顺序上靠近当前块(非相邻的块)且已被解码的块,也能加入候选列表,增加了运动矢量预测的效率。

UMVE

UMVE(高级运动矢量表达Ultimate Motion Vector Expression)对跳过模式/直接模式的基础运动矢量进行步长和方向上的精细调整,在节省码率的同时提高了编码质量。UMVE在L0和L1上以basemv对应位置为起始点进行四个方向、五种距离的搜索。

4参数AFFINE

AFFINE仿射运动补偿(Affine Motion Compensation)分为四参数和六参数两类仿射模型,分别编码2或者3个控制点的运动矢量/运动矢量差。其他点的运动矢量/运动矢量差由计算等到。可以高效地表示诸如缩放、旋转等复杂运动。运动矢量精度为1/16像素,对于大于16x16的CU进行基于8x8 (单向,双向) 或 4x4 (单向)小块的运动补偿,固定大小有利于硬件实现。

变换

变换:提高帧间预测块残差编码效率

DCT8或者DST7变换

一种PBT划分方式

PBT(基于位置的变换 Position Based Transform)可根据帧间预测残差块的子块位置选择进行相应的DCT8或者DST7变换,每个子块根据其位置使用预先设计的变换集,用于更高效地拟合帧间残差特性。

块划分: 缩短预测距离、提高图像预测精度

块划分: 缩短预测距离、提高图像预测精度 块划分: 缩短预测距离、提高图像预测精度
  • • 编码块划分技术,是把复杂多样的图像划分成多个矩形块,有针对性的以块为单位的图像进行有效的编码,最后再以块为单位去解码图像的过程。通常一个物体有多个组成部分,通常需要把它划分为多个部分,每个部分采用不同的预测模式,针对性的进行预测。
  • • AVS3中的块划分关键技术中包含了四叉及二叉树划分(QTBT)、扩展四叉树(EQT)和衍生模式树(DT)。
    可根据图像场景,灵活分为“片划分”及“编码树单元”,DT模式中的非对称预测单元有效地缩短平均预测距离,大幅提高预测精度。

帧内预测:增加预测单元关联性,提升预测效率

帧内预测是利用视频空间域的相关性,使用同一帧图像内邻近已编码像素预测当前的像素,以达到有效去除视频时域冗余的目的。

帧内预测:增加预测单元关联性,提升预测效率
帧内预测:增加预测单元关联性,提升预测效率

IPF

IPF(帧内预测滤波 Intra Prediction Filter)对预测完的预测块边界的像素再次滤波,用于优化帧内预测块的边界,增加周围参考像素与当前预测单元之间的空间关联性,提升预测精度。

TSCPM

TSCPM(两步色度帧内预测Two-Step Cross-component Prediction)利用了亮度与色度之间的强相关性,去除分量间的线性关系冗余。
第一步:由亮度块进行线性缩放得到对应色度预测块的值Pc′ (x,y)。其中,系数α和β与亮度块邻近的四个样本点有关。
第二步:对色度预测块进行下采样得到最终色度预测块的值Pc

帧间预测:提升运动矢量预测精度

帧间预测是利用视频时间域的相关性,使用邻近已编码图像像素预测当前图像的像素,以达到有效去除视频时域冗余的目的。

帧间预测:提升运动矢量预测精度 帧间预测:提升运动矢量预测精度

AMVR

AMVR(自适应运动矢量精度Adaptive Motion Vector Resolution) 在编码端根据图像内容属性自适应选择1/4像素、1/2像素、1像素、2像素和4像素的运动矢量精度, 相比固定精度,减少了运动矢量差编码造成的数据。

HMVP

HMVP(基于历史信息的运动矢量预测History-based Motion Vector Prediction)在运动矢量候选列表中,除了时域和空域的候选列表外,还新增最近使用过的8个运动矢量组成一个基于历史信息的候选列表。这些运动矢量采用FIFO(First Input First Output)式排列,每增加一个新的候选项前先检查是否存在相同MVP。HMVP让顺序上靠近当前块(非相邻的块)且已被解码的块,也能加入候选列表,增加了运动矢量预测的效率。

UMVE 4参数AFFINE

UMVE

UMVE(高级运动矢量表达Ultimate Motion Vector Expression)对跳过模式/直接模式的基础运动矢量进行步长和方向上的精细调整,在节省码率的同时提高了编码质量。UMVE在L0和L1上以basemv对应位置为起始点进行四个方向、五种距离的搜索。

4参数AFFINE

AFFINE仿射运动补偿(Affine Motion Compensation)分为四参数和六参数两类仿射模型,分别编码2或者3个控制点的运动矢量/运动矢量差。其他点的运动矢量/运动矢量差由计算等到。可以高效地表示诸如缩放、旋转等复杂运动。运动矢量精度为1/16像素,对于大于16x16的CU进行基于8x8 (单向,双向) 或 4x4 (单向)小块的运动补偿,固定大小有利于硬件实现。

1 2

变换:提高帧间预测块残差编码效率

DCT8或者DST7变换
一种PBT划分方式
变换:提高帧间预测块残差编码效率 变换:提高帧间预测块残差编码效率

PBT(基于位置的变换 Position Based Transform)可根据帧间预测残差块的子块位置选择进行相应的DCT8或者DST7变换,每个子块根据其位置使用预先设计的变换集,用于更高效地拟合帧间残差特性。

AVS3技术价值

编码压缩效率提升50%

超高清应用场景, AVS3优势显著

一站式专利池方案,授权政策清晰

编码压缩效率提升50%

宽带减半

传输同等画质
只需要一半的宽带

储存减半

同等画质
存储空间节省一半

画质提升

同等条件下
画质更加细腻

AVS技术体系中每代标准都会
比上一代标准压缩效率提升50%左右

超高清应用场景, AVS3优势显著

AVS3 HPM4.0 vs AVS2 RD19.5

  • 超高清视频场景, AVS3性能提升了约24.3% 在1080P/720P等视频场景, AVS3性能提升超23%
  • 同等主观性能质量下,AVS3较AVS2节省了23%码率

注:数据来源于AVS数字音视频编解码技术工作组数据

AVS3 HPM10.1 vs HEVC HM16.20

  • 4K超高清场景,AVS3比HEVC码率提升35%
  • 1080P高清场景,AVS3码率提升约30%左右
  • 同等主观性能质量下,AVS3较HEVC节省了40%码率
一站式专利池方案,授权政策清晰

AVS授权模式的一大创新是在标准制定之前先确立许可模式,提前规避了产业化过程中存在的潜在苛刻、操作复杂的专利许可问题。

一站式专利池方案,授权政策清晰
技术研发活动R&D知识产权管理IPR产品开发与产业应用Industry

专利授权政策清晰

凡是向AVS工作组提交技术和提案的单位
都需要对其专利许可意向做出承诺,允许
免费使用”或者“加入AVS专利池

从授权源头做出规范, 授权机制简洁高效

专利授权费用低

只对设备收费
不对内容收费
不对运营商收费
对互联网软件服务免收专利费

专利可用可控

选用会员单位技术,极大程度降低专利风险

从源头保证专利可用性,规避重复申明问题、
保证专利池的唯一性、极大程度规避专利权
人“防水养鱼”等风险, 确保专利可控

宽带减半

传输同等画质
只需要一半的宽带

储存减半

同等画质
存储空间节省一半

画质提升

同等条件下
画质更加细腻

AVS技术体系中每代标准都会比上一代标准压缩效率提升50%左右

AVS3 HPM4.0 vs AVS2 RD19.5

 

AVS3 HPM4.0 vs AVS2 RD19.5

• 超高清视频场景, AVS3性能提升了约24.3%
• 在1080P/720P等视频场景, AVS3性能提升超23%
• 同等主观性能质量下,AVS3较AVS2节省了23%码率

AVS3 HPM10.1 vs HEVC HM16.20

注:数据来源于AVS数字音视频编解码技术工作组数据

AVS3 HPM10.1 vs HEVC HM16.20

• 4K超高清场景,AVS3比HEVC码率提升35%
• 1080P高清场景,AVS3码率提升约30%左右
• 同等主观性能质量下,AVS3较HEVC节省了40%码率

AVS授权模式的一大创新是在标准制定之前先确立许可模式,提前规避了产业化过程中存在的潜在苛刻、操作复杂的专利许可问题。

一站式专利池方案,授权政策清晰

专利授权政策清晰

  • 凡是向AVS工作组提交技术和提案的单位
    都需要对其专利许可意向做出承诺,允许
    免费使用”或者“加入AVS专利池
  • 从授权源头做出规范, 授权机制简洁高效

专利授权费用低

  • 只对设备收费
  • 不对内容收费
  • 不对运营商收费
  • 对互联网软件服务免收专利费

专利可用可控

  • 选用会员单位技术,极大程度降低专利风险
  • 从源头保证专利可用性,规避重复申明问题、
    保证专利池的唯一性、极大程度规避专利权
    人“防水养鱼”等风险, 确保专利可控
1 2

行业应用

苏州中超端到端的8K超高清直播试验

苏州中超端到端的8K超高清直播试验

海思联合江苏有线、国家广电总局超高清电视技术研究和应用实验室、体奥动力、当虹科技、京东方联合在苏州奥体中心成功完成中超冠亚军决赛AVS3 8K超高清直播试验。这是国内首次大型体育赛事端到端的8K超高清直播试验,成功打通了基于AVS3 8K超高清直播信号的采集、制作、编码、调制、传输、入户接收、终端解码及大屏显示等全流程。

央视8K超高清频道试播

央视8K超高清频道试播

春晚是每个中国百姓心中的传统“佳肴”,牛年将至,这道佳肴将全面升级为8K超高清视盛宴,从央视演播厅“飞落”我们身边。今天中央广播电视总台8K超高清电视实验频道首次试播成功,上海海思助力央视、鹏城实验室、广东博华超高清创新中心等产业伙伴共同完成了本次8K超高清频道实验的播出。这是业界首次围绕8K超高清采集、制作、传输、以及面向公众进行电视直播,本次试验的成功意味着今年春节大家将有机会第一次在大屏上欣赏到8K超高清春晚直播,在超高清视频产业发展史上具有里程碑意义。8K超高清视频是继视频数字化、高清化之后的新一轮重大技术革新。上海海思助力中央广播电视总台构建了端到端8K超高清直播试验系统,支撑总台开播国内首个8K超高清电视试验频道。

相关产品

Hi3796CV300

海思新一代8K融合智能计算终端芯片    

Hi3796MV200

高端4KP60机顶盒芯片,应用于海外DVB市场。  

Hi3798MV310

4KP60机顶盒芯片        

Hi3798MV200H

针对国内广电客户的4KP60机顶盒芯片,支持AVS\国密\TVOS等特性。  

相关新闻

*AVS3对比测试数据来源自AVS数字音视频编解码技术工作组AVS M6296: 2021年03月数据