T/UWA 004-2022 4K视频服务用户体验评估算法和参数
T/UWA 004-2022 User experience evaluation algorithm and parameters for 4K video service
基本信息
发布历史
-
2022年02月
研制信息
- 起草单位:
- 华为技术有限公司、中国电信集团有限公司、中国移动通信集团有限 公司、中国电子技术标准化研究院
- 起草人:
- 罗传飞、张沛、张世俊、杨崑、宋利、苏佳、杨付正、吴雪波、杨 友庆、孙齐锋
- 出版信息:
- 页数:27页 | 字数:- | 开本: -
内容描述
ICS:33.160
CCS:M60
世界超高清视频产业联盟标准
T/UWA004-2022
4K视频服务用户体验评估算法和参数
AssessmentmethodsandparametersofuserexperienceforUHD4Kvideo
service
(V1.0)
2022-02-10发布 2022-02-10实施
世界超高清视频产业联盟
目次
目次..............................................................................................................................................I
前言.....................................................................................................................................................II
视频服务用户体验评估算法和参数.................................................................................................1
1范围.............................................................................................................................................1
2规范性引用文件.........................................................................................................................1
3缩略语、术语和定义.................................................................................................................2
3.1缩略语.............................................................................................................................2
3.2术语和定义.....................................................................................................................3
4视频服务用户体验指标体系.....................................................................................................5
4.1关键指标.........................................................................................................................5
4.2指标框架.........................................................................................................................5
4.3参数采集及指标处理.....................................................................................................6
54K视频播放服务用户体验指标构成.......................................................................................7
5.1视频体验质量参数.........................................................................................................7
5.2交互体验质量参数.........................................................................................................8
5.3观看体验质量参数.........................................................................................................8
5.4其它业务KQI指标........................................................................................................9
5.5其它网络KPI指标......................................................................................................10
64K视频播放服务用户体验评估算法.....................................................................................10
6.1总体模型综述...............................................................................................................10
6.2模型三大模块综述.......................................................................................................11
6.2.1视频体验质量Qs...................................................................................................11
6.2.2交互体验质量Qi....................................................................................................21
6.2.3观看体验质量Qv...................................................................................................22
I
T/UWA004-2022
前 言
本标准按照GB/T1.1-2009给出的规则起草。
注意本文件的某些内容可能涉及专利,本文件的发布机构不承担识别这些专利的责任。
本标准由世界超高清视频产业联盟提出并归口。
本标准起草单位:华为技术有限公司、中国电信集团有限公司、中国移动通信集团有限公司、中
国电子技术标准化研究院。
本标准主要起草人:罗传飞、张沛、张世俊、杨崑、宋利、苏佳、杨付正、吴雪波、杨友庆、孙
齐锋
II
T/UWA004-2022
视频服务用户体验评估算法和参数
1范围
本标准规定了应用于超高清4K娱乐视频服务业务用户体验质量的评估场景和模型,分
析了影响娱乐视频服务用户体验质量的关键因素,定义了用于评估4K视频播放服务用户体
验质量的参数和技术方法。
本标准适用于对电信运营商、广电运营商、互联网视频服务商和其它相关厂商提供的娱乐
视频服务用户体验质量进行综合评估,还适用于产业各方对影响视频服务质量的因素进行量
化和分析。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本
适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
[ITU-TG.1081]IPTV性能监控点
[ITU-TY.1991]IPTV的术语和定义
[ITU-TG.1080]IPTV服务的体验要求质量
[ITU-TP.912]识别任务的主观视频质量评定方法
[ITU-RBT.1788多媒体应用中视频质量主观评定的方法论
[RFC4445]AProposedMediaDeliveryIndex(MDI),April2006
[ETSITR101290V1.2.1]DigitalVideoBroadcasting(DVB);MeasurementGuidelinesfor
DVBSystems,May2001
[ITU-RBT.500-11]Methodologyforthesubjectiveassessmentofthequalityoftelevision
pictures
[ITU-TP.1201]RecommendationITU-TP.1201(2012),Parametricnon-intrusive
assessmentofaudiovisualmediastreamingquality.
[ITU-TP.1201.1]RecommendationITU-TP.1201.1(2012),Parametricnon-intrusive
assessmentofaudiovisualmediastreamingquality–lowerresolutionapplicationarea.
[ITU-TP.1201.2]RecommendationITU-TP.1201.2(2012),Parametricnon-intrusive
assessmentofaudiovisualmediastreamingquality–higherresolutionapplicationarea.
[ITU-TP.1202.1]RecommendationITU-TP.1202.1(2012),Parametricnon-intrusive
bitstreamassessmentofvid eomediastreamingquality–lowerresolutionapplicationarea.
[ITU-TP.1202.2]RecommendationITU-TP.1202.2(2013),Parametricnon-intrusive
bitstreamassessmentofvideomediastreamingquality–Higherresolution
applicationarea.
1
T/UWA004-2022
[ITU-TP.1401]RecommendationITU-TP.1401(2012),Methods,metricsandprocedures
forstatisticalevaluation,qualificationandcomparisonofobjectivequalitypredictionmodels.
YD/T1823-2008IPTV业务系统总体技术要求
YD/T2367-2011IPTV质量监测系统技术要求
GYT262-2012节目响度和真峰值音频电平测量算法
3缩略语、术语和定义
3.1缩略语
以下缩略语适用于本文件。
缩略语英文全称中文全称
BAR花屏面积占比BlockAreaRatio
BTV广播电视BroadcastTV
CDN内容分发网络ContentDeliveryNetwork
CBR恒定比特率编码constantbit-rate
DPI深度包检测DeepPacketInspection
FCC快速频道切换FastChannelChange
FTP文件传输协议FileTransferProtocol
FR全参考FullReference
GOP图像组GroupofPictures
HG家庭网关HomeGateway
HTTP超文本传输协议HyperTextTransferProtocol
IGMP因特网组管理协议InternetGroupManagementProtocol
IP互联网协议InternetProtocol
IPTVIP电视InternetProtocolTelevision
ICP因特网内容提供商InternetContentProvider
HDR高动态范围High-DynamicRange
HFR高帧率HighFrameRate
HTTP超文本传输协议HypertextTransferProtocol
Apple的动态码率自适应
HLSHTTPLiveStreaming
技术
ITU国际电信联盟InternationalTelecommunicationUnion
KPI关键性能指标KeyPerformanceIndicator
KQI关键质量指标KeyQualityIndicator
MOS主观体验评分MeanOpinionScore
MV运动矢量MotionVector
NR无参考 NoReference
互联网向用户提供各种应
OTTOverTheTop
用服务
OQA客观质量评估ObjectiveQualityAssessment
2
T/UWA004-2022
PPI每英寸所拥有的像素数目PixelsPerInch
PON无源光纤网络PassiveOpticalNetwork
QP量化参数QuantizationParameter
QoE体验质量QualityofExperience
QoS服务质量QualityofService
RR部分参考ReducedReference
实时传输控制协议扩展报Real-timeTransportControlProtocol
RTCPXR
告ExtendedReport
RTSP实时流协议RealTimeStreamingProtocol
RTT往返时延Round-TripTime
SMTP简单邮件传输协议SimpleMessageTransferProtocol
sQuality质量评分scoreofQuality
sInteraction互动体验评分scoreofInteraction
sView播放体验评分scoreofView
sInteractionDeg互动体验损伤sInteractionDegradation
sViewDeg播放体验损伤sViewDegradation
SQA主观质量评估SubjectiveQualityAssessment
SYN同步信号Synchronous
TCP传输控制协议TransmissionControlProtocol
TR花屏时长占比TimeRatio
UDP用户数据报协议UserDatagramProtocol
UHD超高清UltraHigh-Definition
VC视频内容复杂度VideoComplexity
vMOS视频体验评分videoMeanOpinionScore
VBR可变比特率编码variablebit-rate
WCG宽色域WideColorGamut
3.2术语和定义
超高清UHD,UltraHigh-Definition
超高清是指国际电信联盟批准的信息显示显示像素名称,适用于4K及以上分辨率。
4K分辨率
4K分辨率是指水平方向每行像素值达到或者接近4096个,多数情况下特指4096*2160
分辨率。而根据使用范围的不同,4K分辨率也有各种各样的衍生分辨率,例如UHDTV标
准的3840*2160等,都属于4K分辨率的范畴。
高动态范围图像HDR,High-DynamicRange
相比普通的图像,HD R图像拥有更大曝光动态范围(即更大的明暗差别),可以提供更
多的动态范围和图像细节。
高帧率HFR,HighFrameRate
高帧率是指视频帧率达到每秒50-60帧。高帧率可带来更清晰流畅的画面,尤其在运动
3
T/UWA004-2022
场景下,更高的帧率可以让人感觉运动更平滑自然,从而消除由于帧率不足所带来的卡顿感,
更清楚地观看运动画面,提升体验。
宽色域WCG,WideColorGamut
宽色域指视频采用ITUBT.2020色彩空间,而普通高清视频采用ITUBT.709颜色空间。
BT.2020是目前显示设备中最大的色彩空间,覆盖了CIE1931色彩空间的75.8%。BT.709
仅覆盖了CIE1931色彩空间的35.9%。
高量化精度HighPixelBit
相比于传统视频中多为8bit量化精度,高量化精度指比特量化位宽提升到10bit,可以
使颜色更加丰富饱满,同时色阶过渡也会比8bit的更加流畅。
全4K技术规格
全4K(Full4K)=高分辨(4K)+高动态(HDR)+高帧率(50/60)+高量化精度
(10bit)+宽色域(WCG)+高保真环绕立体声(全景)
用户体验质量QualityofUserexperience
用户对于某项应用或服务的满意或厌烦的程度。
业务质量Qualityofservice
某项服务满足使用该服务的用户的明示或暗示需求的综合能力。
用户体验关键参数KeyparameterofUserexperience
对用户感受到的服务过程中硬件操作、服务操作和内容展示的质量水平有关键影响的因
素,可以被表示为客观的体验质量参数。
业务性能参数Performanceparameterofservice
服务过程中可以衡量服务实现和内容展示质量水平的因素,可以被表示为客观的体验质
量参数。
网络性能参数Performanceparameterofnetwork
对业务完成和业务质量程度有直接影响的网络关键性能指标。
视频直播Videostreaming
根据用户发出播放请求,系统将实时的视频流,通过传输网络传送到用户终端
视频点播VideoonDemand
根据用户发出点播请求,系统将存放在片源库中的节目信息检索出来,以视频流文件,
通过传输网络传送到用户终端。
4
T/UWA004-2022
4视频服务用户体验指标体系
4.1关键指标
用户使用视频服务的过程往往包括启动终端/播放器,接入服务系统,选择观看内容,
进行播放、观看等操作。因此影响网络娱乐视频服务用户体验的因素是多方面的,在系统正
常为用户提供服务的过程中,关键的因素主要包括视频源质量、用户的交互体验和观看体验。
视频体验质量,取决于视频源的清晰度、流畅度、保真度(色调、对比度)等因素,涵
盖了视频源的分辨率、帧率、码率、内容、编码和终端六个维度的指标,可以编码参数、分
辨率、帧率、码率、信号层质量等客观指标度量。
用户的交互体验,取决于系统对用户交互操作的响应速度,涵盖了平台、网络、终端性
能指标,可以用户一次观看行为中对EPG操作的响应、视频初始加载时长、频道切换时长,
快进快退的响应等客观指标度量。
观看体验,取决于观看过程中出现的节目信号质量,影响因素包括花屏、马赛克、卡顿、
声画不同步等,可以通过视音频信息的传输性能和质量损伤等客观指标进行衡量。
此外,音频源也是影响用户体验质量的一个重要因素,音频体验质量取决于音频源的清
晰度、流畅度、保真度等因素,可以音频采样率、声道数、码率、编码方式、编码参数、信
号层质量等客观指标度量。在本标准中,不对音频源质量的评价过程进行具体规范。
图4-1影响用户体验的因素
为了科学的评估和量化视频服务的用户体验质量,把评估场景分为会话场景(表征用户
一次完整的观看行为的体验质量)和实时场景(表征用户实时观看过程中的体验质量)。对
用户在一定周期内(周、月、年)会话场景下的体验质量进行统计分析可以反映用户使用视
频服务的真实感知体验。
交互体验和观看体验客观指标对用户视频体验质量的影响权重随着观看行为的持续而
弱化,当花屏/卡顿事件出现时,视频的质量体验立即下降,当花屏/卡顿结束,恢复正常播
放时,用户体验就会逐渐缓慢恢复。假如后续一直能持续正常播放,实时的质量体验会逐渐
恢复到正常值。用户的视频体验质量得分,综合了视频源质量、交互体验质量、观看体验质
量,是真实反映用户体验感知的平均主观评分(MOS)
4.2指标框架
视频服务质量受到终端、网络、平台、片源等多方面因素影响,主要包括视频源质量、
用户的交互体验和观看体验三大模块。具体的指标体系如下图所示:
5
T/UWA004-2022
图4-2视频质量指标框架
数据源获取的数据经过处理可以得到KPI指标(网元相关指标)和KQI指标(业务相
关指标)
KPI指标一般指基于网元设备的关键指标,主要包括终端性能、网络传输质量、视频传
输质量、音频体验质量、媒体的封装质量和视频的编码参数。
KQI指标从业务和应用层面出发反映业务使用体验,视频播放的流畅度,即视频在播放
过程中是否有出现缓冲卡顿、花屏和马赛克的情况;视频源质量,包括视频源本身的编码格
式、视频清晰度、媒体封装等;业务交互体验是视频在观看过程中业务交互的情况包括直播、
点播业务的交互成功率以及交互时延等。KQI指标一般通过KPI指标处理得到。
QoE指标从用户层面出发,可以定义为终端用户对视频业务的总体主观感知。视频业
务的感知体验就是反映用户观看视频业务体验的综合评分,用U_MOS表示。
定义U_MOS=f(Qs,Qa,Qi,Qv),即用户体验综合评分为(视频质量(Qs),音频质量Qa,
交互质量(Qi),观看质量(Qv))的函数关系。
4.3参数采集及指标处理
由于视频服务最终通过终端呈现给用户,是视频服务系统中离用户最近的环节,因此评
估影响视频服务质量的参数来源可来自终端的网络抓包数据、终端系统信息相关数据以及播
放器反映的视音频信息相关的数据。
参数的获取可以通过终端如机顶盒、播放器等设备,或者通过网络探针的方式部署在网
络各个位置,从而协助进行故障定位和诊断。当参数从终端获取时,计算出的业务质量精度
高,但需要终端设备的支持;而从网络探针获取时,因为网络设备能力受限,无法使用比特
流模型和混合模型,且无法采集到交互体验数据,因此计算出的业务质量精度较低。
获取的数据经过处理可以得到KPI指标(网元相关指标)和KQI指标(业务相关指标),
KPI指标和KQI指标就组成了视频业务质量分析的QoS指标。QoE指标是基于用户感知层
面的,基于KQI指标从一定程度上可以反应用户对业务的使用体验。终端获取的参数经过
数据处理也可以获取用户的观看视频行为的指标。
6
T/UWA004-2022
图4-3数据处理流程
54K视频播放服务用户体验指标构成
5.1视频体验质量参数
表5-1视频体验质量参数
序号参数数据源说明备注
所有视频的码率RTSP标
清高清4K
5.1.1视频码率现网采集BitRate
HLS索引文件申明的编
码速率
5.1.2视频帧率现网采集视频的帧率VideoFrameRate
视频分辨视频的分辨率:4K及以下
5.1.3现网采集Resolution
率分辨率
视频的编码方式:
5.1.4编码方式现网采集CodecType
H.265、AVS2
删除[杨再欣]:MPEG-
每帧视频的类型:注1:采集以GOP为单元,
I、P、B
定制服务
推荐标准
- GB/T 24865-2010 麦洼牦牛 2010-06-30
- GB/T 24874-2010 草地资源空间信息共享数据规范 2010-06-30
- GB/T 24875-2010 畜禽粪便中铅、镉、铬、汞的测定 电感耦合等离子体质谱法 2010-06-30
- GB/T 24869-2010 主要沙生草种子质量分级及检验 2010-06-30
- GB/T 24868-2010 沙打旺种子生产技术规程 2010-06-30
- GB/T 24867-2010 草种子水分测定 水分仪法 2010-06-30
- GB/T 24871-2010 粮油检验 小麦粉粗蛋白质含量测定 近红外法 2010-06-30
- GB/T 24872-2010 粮油检验 小麦粉灰分含量测定 近红外法 2010-06-30
- GB/T 24866-2010 牧草及草坪草种子贮藏规范 2010-06-30
- GB/T 24870-2010 粮油检验 大豆粗蛋白质、粗脂肪含量的测定 近红外法 2010-06-30