T/ZSA 154-2023 移动直播视频用户体验质量（QoE）观众端评测方法

ICS33.020

CCSM01

团体标准

T/ZSA154-2023

移动直播视频用户体验质量（QoE）观众

端评测方法

QualityofExperience(QoE)evaluationmethodformobilelivebroadcastaudience

2023-10-10发布2023-10-11实施

中关村标准化协会发布

T/ZSA154-2023

目次

前言............................................................................................................................................................III

1范围...............................................................................................................................................................1

2规范性引用文件...........................................................................................................................................1

3术语和定义、缩略语....................................................................................................................................1

3.1术语和定义.................................................................................................................................................1

3.2缩略语.........................................................................................................................................................2

4移动直播QoE评估模型架构....................................................................................................................3

4.1移动直播评估概述....................................................................................................................................3

4.2观众端关键体验指标...............................................................................................................................3

4.3移动直播QoE评估模型架构构成.........................................................................................................4

5移动直播质量观众端指标构成.....................................................................................................................5

5.1观众端视频质量输入参数.........................................................................................................................5

5.2观众端音频质量输入参数........................................................................................................................6

5.3观众端呈现体验质量输入参数................................................................................................................7

5.4观众端交互体验质量输入参数...............................................................................................................8

5.5观众端QoE模型输出参数.......................................................................................................................8

6移动直播观众端用户体验评估算法........................................................................................................10

6.1总体算法综述............................................................................................................................................10

6.2三大模块算法综述...................................................................................................................................10

6.2.1.视听体验...............................................................................................................................................10

6.2.2.呈现体验...............................................................................................................................................14

6.2.3.交互体验...............................................................................................................................................16

附录A（资料性）ITU-TP.1203工作模式.....................................................................................................18

附录B（资料性）关于PPD计算方法...........................................................................................................19

参考文献............................................................................................................................................................21

II

T/ZSA154-2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中关村标准化协会技术委员会提出并归口。

本文件起草单位：中关村现代信息消费应用产业技术联盟、智者四海（北京）技术有限公司、北京

值得买科技股份有限公司、中恒达（北京）软件测评科技有限公司、北京快手科技有限公司、北京密境

和风科技有限公司、北京爱奇艺科技有限公司、优酷网络技术（北京）有限公司、华为技术有限公司、

上海兆言网络科技有限公司、聚好看科技股份有限公司、中国电信集团有限公司、中国移动通信有限公

司研究院、中国联通研究院、中移（杭州）信息技术有限公司、中国信息通信研究院、北京邮电大学、

上海交通大学、北京理工大学、北京市博汇科技股份有限公司、TCL华星光电技术有限公司、上海艾策

通讯科技有限公司、西安电子科技大学、深圳市中兴微电子技术有限公司、德科仕通信（上海）有限公

司、北京未来媒体科技股份有限公司。

本文件主要起草人：陈红、郭锦程、刘峰、陈劼联、马英武、高玮泽、唐赓、崔艳春、李静、宋

祖平、武亮平、段涛、史东平、刘帅、任子健、罗传飞、陈戈、尹之帆、张世俊、贾武、杨琛、黄挺、

王亚军、杨崑、闫石、宋利、翁冬冬、杨付正、张家斌、黄卫东、刘文泉、孔德辉、吴雪波、王倩、缪

旭阳、张春蕾、吴敬芳、郑川川、余大利、姜卫平、郭忠武、钟琳、刘璇。

III

T/ZSA154-2023

移动直播视频用户体验质量（QoE）观众端评测方法

1范围

本文件提供了在固定和移动宽带网络中基于移动终端（智能手机，平板电脑）进行移动直播时

的用户体验质量（QoE）评估模型，给出了影响移动直播用户体验质量（QoE）的指标构成，描述

了移动直播用户体验质量（QoE）的评估计算方法。

本文件适用于公用电信网、公用互联网等环境下，通过互联网服务商的固定或移动OTT视频业

务系统实现的移动直播场景下用户体验质量（QoE）综合评估，以及对影响移动直播QoE的因素进

行定位和分析。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义、缩略语

3.1术语和定义

下列术语和定义适用于本文件。

3.1.1

用户体验质量qualityofuserexperience

用户体验移动直播的服务过程中相应的视听体验质量、交互体验时延、呈现体验的质量水平。

3.1.2

移动直播livestreamingvideoservicesinmobilenetwork

通过互联网服务商的音视频业务系统，使用移动终端设备（如智能手机、平板电脑等），主

播将产生的音视频流实时地推流到直播云平台，观众实时地接收主播的音视频流进行观看的过程。

3.1.3

主播host

直播频道内进行实时音视频流推流到直播云平台的用户。

3.1.4

观众audience

直播频道内从直播云平台通过拉流拉取直播内容进行观看的用户。

3.1.5

1

T/ZSA154-2023

推流pushstream

把采集阶段封包好的内容传输到直播平台服务器的过程。

3.1.6

拉流pullstream

播放端用户通过拉流地址从服务器拉取直播内容的过程。

3.1.7

卡顿freeze

在直播过程中，出现音频或视频的播放不连续、不流畅、画面滞帧等现象。

3.1.8

花屏blurredscreen

在直播过程中，画面出现图像紊乱，异常颜色的方块图等部分画面无法有效显示的问题。

3.1.9

输出采样间隔outputsamplinginterval

解析后的视频或音频每隔1秒钟（不考虑卡顿）输出一次，且音频质量（QA）和视频质量（QV）

的输出采样间隔与质量整合模块（QIgt）期望的输入相匹配。

3.1.10

主播连麦PKanchorsareconnectedtothemicrophonepk

主播与其他主播间进行连麦互动PK。

3.1.11

音画同步时延audio-to-videosynchronizationdelay

直播中观众端播放器接收的音频流声音和观看到的画面的之间时间戳的差值。

3.2缩略语

下列缩略语适用于本文件。

AAC：高级音频编码（AdvancedAudioCoding）

ITU：国际电信联盟（InternationalTelecommunicationUnion）

ITU-T：国际电信联盟标准化部门（InternationalTelecommunicationUnion-Telecommunication

StandardizationSector）

MOS：主观体验评分（MeanOpinionScore）

OS：操作系统（OperatingSystem）

OTT：互联网向用户提供各种应用服务（OverTheTop）

PK：比赛、挑战、淘汰（PlayerKilling）

2

T/ZSA154-2023

PPD：每一度视场角的像素数（PixelsPerDegree）

PPI：每英寸的像素数（PixelsPerInch）

QoE：用户体验质量（QualityofUserExperience）

4移动直播QoE评估模型架构

4.1移动直播评估概述

移动直播的过程为主播端将产生的音视频流实时地发送到音视频云平台，观众实时接收主播的

音视频流进行观看。移动直播过程中主播和观众间会频繁地进行实时音视频互动，或者主播之间进

行连麦PK，互动性比较强，对端到端的时延要求比较高。直播中的用户角色分为主播和观众。

开展移动直播观众端用户体验评价综合了观众端视听体验质量、交互体验质量、呈现体验质量，

是真实反映移动直播观众端用户体验感知的平均主观体验评分（MOS）。

4.2观众端关键体验指标

直播中观众端实时地接收主播端产生的音视频流进行观看。直播中衡量观众端体验的主要指

标有视听体验质量、交互体验质量、呈现体验质量，见图1。视听体验质量包含音频体验质量和

视频体验质量。

音频体验质量，取决于观众端音频的清晰度、流畅度等因素，可以声道数、码率、编码方式、

编码参数、信号层质量等客观指标度量。

视频体验质量，取决于观众端视频的清晰度、流畅度等因素，涵盖了客户端视频的分辨率、

帧率、码率、编码和终端多个维度的指标，可以编码参数、分辨率、帧率、码率、信号层质量等

客观指标度量。相对于PPI（每英寸的像素数）而言，PPD（每一度视场角的像素数）可以更好地

适应曲面屏、非平面的折叠屏等终端形态的演进需要,并且PPD可以考虑到观看距离的影响因素。

因此通过PPD来综合衡量视频分辨率、屏幕分辨率、屏幕尺寸等参数对观看清晰度的影响。

交互体验质量，取决于观众端端到端的时延（观众端端到端时延是指数据从主播端采集到观

众端播放需要的时间）。观众端交互体验质量也包含观众端在直播间的跳转时延、观众进入直播

间的首屏时延等。观众端在直播间的跳转时延是指在主播连麦PK场景下（如主播A与主播B连麦

PK）主播A直播间的观众从主播A的直播间跳转到主播B的直播间所需的时间。观众进入直播间

的首屏时延是指从观众端点击进入主播直播间到直播间首帧画面成功播放显示的时间。观众端呈

现体验质量，可以通过音频卡顿率、视频卡顿率、花屏、音画同步时延等指标进行衡量。

3

T/ZSA154-2023

图1影响直播观众端体验的关键因素

4.3移动直播QoE评估模型架构构成

评估场景分为会话场景和实时场景，会话场景表征观众端用户一次完整的观看行为的体验质量，

实时场景表征观众端用户实时观看过程中的体验质量。

移动直播观众端QoE评估模型架构的输入参数、输出质量模块及综合质量如图2所示：

a)视听体验质量用于表征直播中观众端所见所听的主观感受。视听体验质量主要由视频质

量和音频质量构成：

1)视频质量主要与内容清晰度（受分辨率等因素影响）、内容流畅度（以帧率表征）和

编码参数（如编码算法、码率）有关。

2)音频质量主要与声道数（如单声道、双声道（立体声））、编码参数（如编码算法、

码率）有关。

b)呈现体验质量用于表征受网络传输质量影响的体验损伤，主要与直播过程中因传输带宽、

时延抖动和丢包导致的卡顿、花屏和音画不同步等问题有关；

c)交互体验质量用于表征直播中观众端交互行为的影响，主要与响应时延有关，如观众端

端到端时延、观众在直播间跳转时延、观众进入直播间的首屏时延等。

图2移动直播观众端QoE评估模型架构

根据图2，除QIgt（Qualityintegrationmodule，质量整合模块）之外的其他模块，模型输入和

输出均比较清晰，这里重点介绍一下比较复杂的QIgt模块。QIgt模块由如下QAVE、QPE和QInE三

个子模块构成。

⚫

QAVE（Audio-VisualExperienceQuality，视听体验质量）子模块，其输入是：

1）每输出采样间隔的视觉体验质量（O.21）；

2）每输出采样间隔的音频质量（O.22）。

QAVE（Audio-VisualExperienceQuality，视听体验质量）子模块其输出是：

4

T/ZSA154-2023

1）基于每输出采样间隔的视听体验质量（O.31）；

2）基于会话的视听体验质量（O.32）。

关于QAVE子模块请参考本文件6.2.1的相关描述。

⚫

QPE（PresentingExperienceQuality，呈现体验质量）子模块，其输入是：

1）卡顿感知质量（QStall）；

2）花屏感知质量（QBlock）；

3）每输出采样间隔的音视频同步（Q𝑎𝑠𝑦𝑛）参数。

QPE（PresentingExperienceQuality，呈现体验质量）子模块其输出是：

呈现体验质量（O.33）。

关于QPE子模块请参考本文件6.2.2的相关描述。

⚫

QInE（InteractiveExperienceQuality，交互体验质量）子模块，其输入是：

每输入采样间隔的交互响应参数（I.16）；

QInE（InteractiveExperienceQuality，交互体验质量）子模块其输出是：

1）基于每输出采样间隔的交互体验质量（O.34）；

2）基于会话的交互体验质量（O.35）。

关于QInE子模块请参考本文件6.2.3的相关描述。

移动直播观众端的QoE指标从用户层面出发，可以定义为终端用户观众端对直播业务的综

合主观感知，反映移动直播的体验综合评分，用MOS表示，即用户体验综合评分为：视听体验

质量（QAVE），呈现体验质量（QPE），交互体验质量（QInE）的函数关系，见公式（1）。

MOS=f(QAVE,QInE,QPE)…………（1）

5移动直播质量观众端指标构成

5.1观众端视频质量输入参数

观众端视频质量提取的输入参数I.11（表1中参数1~6）表征直播中观众端视频的质量，I.GEN

（表1中参数7~11）则主要表征观众端终端的显示能力（如屏幕分辨率，刷新率等）。观众端视

频质量输入参数详见表1。

表1观众端视频质量输入参数

序号参数英文数据源定义/取值

1视频码率VideoBitrate，缩终端播放器视频单位时间取样的视频数据量

写为BrV（Kbps），直播业务观众端视频的接收

码率

2视频帧率VideoFrameRate，终端播放器视频每秒的帧数。直播业务观众端观

缩写为FRV看直播视频的帧率

3视频水平分辨VideoHorizontalR终端播放器视频水平方向的像素点个数。直播业

率

esolution，缩写为务观众端观看直播视频水平分辨率

Rh

4视频垂直分辨VideoVerticalRes终端播放器视频垂直方向的像素点个数。直播业

率

olution，缩写为务观众端观看直播视频垂直分辨率

Rv

5

T/ZSA154-2023

5编解码算法VideoCodecAlgor终端播放器直播业务，观众端视频的编解码算法。

ithm，缩写为