GB/T 20090.12-2015 信息技术 先进音视频编码 第12部分：综合场景

ICS35.040,____■■■—

(3B

中华人民共和国国彖标准

GB/T20090.12—2015

信息技术先进音视频编码

第12部分：综合场景

Informationtechnology—Advancedcodingofaudioandvideo—

Part12：Syntheticscene

2015-12-10发布2016-08-01实施

幅畿勰畫曹1警彎畫发布

GB/T20090.12—2015

目次

丽吞I

1范围1

2规范性引用文件1

3术语和定义1

4缩略语2

5架构2

6场景表示2

6.1概述2

6.2与SVG和SMIL的关系3

6.3时间模型3

6.4执行模型3

6.5事件4

6.6指令5

6.7元素8

6.8元素属性13

7视频驱动的综合场景14

7.1概述14

7.2时间模型14

7.3执行模型14

7.4呈现模型14

7.5扩展事件15

7.6扩展元素16

附录A资料性附录）综合场景元素schema18

GB/T20090.12—2015

U——

刖s

GB/T20090预计分为以下13个部分：

第1部分:系统；

——第2部分:视频；

——第3部分:音频；

——第4部分:符合性测试；

——第5部分:参考软件；

——第6部分：面向数字版权管理的可信解码器与访问协议；

——第7部分：面向交互应用的视频编解码；

——第8部分:在I网络上传输AVS；

——第9部分:AVS文件格式；

——第10部分:移动语音和音频；

——第11部分：同步文本；

——第12部分:综合场景；

——第13部分:可重构视频编码丁具集。

可能还会增加其他后续部分。

本部分为GB/T20090的第12部分。

本部分按照GB/T1.1—2009给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。

本部分起草单位:北京大学、中国科学院计算技术研究所、北京邮电大学。

本部分主要起草人：牟伦田、陈建平、李甲、霍龙社、丁亚强、田永鸿、陈熙霖、王雷、黄铁军、高文。

GB/T20090.12—2015

信息技术先进音视频编码

第12部分：综合场景

1范围

GB/T20090的本部分规定了综合场景的架构、表示与视频驱动的综合场景。其中，综合场景表示

主要规定了用于场景表示的事件、指令与元素。

本部分适用于数字电视广播、因特网流媒体、多媒体通信等综合媒体应用。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文

件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。

W3C可伸缩矢量图极小档[ScalableVectorGraphics(SVG)Tiny1.2Specification]

注：可以从以下网址获得:http：///TR/SVGTinyl2/

W3C同步多媒体集成语言[SynchronizedMultimediaIntegrationLanguageCSMIL3.0)]

注：町以从以下网址获得:/TR/smil/

W3C层叠样式表[CascadingStyleSheetsLevel2Revision1(CSS2.1)Specification]

注：可以从以下网址获得:http：///TR/CSS21/

W3C文档对象模型3级核心[DocumentObjectModel(DOM)Level3CoreSpecification]

注：可以从以下网址获得:/TR/DOM-Level-3-Core/

W3CXML事件(XMLEvents2：AnEventsSyntaxforXML)

注：可以从以下网址获得:http：///TR/xml-events2/

W3CXML标识符1.0(xml：idVersion1.0)

注：可以从以下网址获得：http：///TR/xml-id/

W3CXML链接语言[XMLLinkingLanguage(XLink)Version1.0]

注：可以从以下网址获得:http://www./TR/xlink/

3术语和定义

下列术语和定义适用于本文件。

3.1

综合媒体richmedia

由音频、视频、图形、文本、动画等多种媒体数据组成的动态可交互集合，支持按照预订的时间、空间

布局同步呈现各种媒体，并支持用户交互。

注：综合媒体是富媒体(richmedia)的一种实现形式。

3.2

综合场景syntheticscene

描述综合媒体中各媒体时间、空间布局的数据。

3.3

媒体时间轴mediatimeaxis

表示承载综合场景或其他媒体流的传输或系统内时间的一个时间轴。

1

GB/T20090.12—2015

3.4

场景时间轴scenetimeaxis

表示场景内时间的一个时间轴。

3.5

场景单元sceneunit

场景流中可独立访问的一段数据。

4缩略语

下列缩略语适用于本文件。

CSS层叠样式表(CascadeStyleSheet)

DOM文档对象模型(DocumentObjectModel)

SMTL同步多媒体集成语言(SynchronizedMultimediaIntegrationLanguage)

SVG可伸缩矢量图(ScalableVectorGraph)

5架构

综合场景架构见图1。虚线矩形内为综合场景的内容，包括场景指令与场景树。虚线箭头表示从

各种媒体数据中分析得到的内容结果，可用于丰富综合场景的内容及支持基于内容的交互。

R'll

M**

图1综合场景架构

从综合场景传递的时间与空间信息来看，综合场景主要由两部分组成：描述各媒体元素时间同步的

部分，采用SMIL并做相应扩展；描述各媒体元素空间布局的部分，采用SVG并做相应扩展。

6场景表不

6.1概述

多媒体呈现是包括场景表示和各种媒体内容的集合，多媒体内容可包括图片、音频、视频和文本等,

而场景表示则是由文字、图形、动画、互动等元素以及元素间的时空布局所组成。

2

GB/T20090.12—2015

场景表示主要考虑以下几个方面：

a)场景中的元素在空间上如何组织，即可视元素的空间布局；

b)场景中的元素在时间上如何组织，即各元素间如何同步，何时开始、何时结束；

c)场景中的元素如何支持交互，例如某一个图片对点击做出响应；

d)场景变化如何发生。

6.2与SVG和SMIL的关系

场景树的构建基于W3C的SVG规范。可利用SVG定义的元素及其属性构建一个场景，也可根

据需要在场景中加入扩展定义的元素和属性。SMIL既体现于SVG对SMIL的继承，也体现在对

SMIL的直接引用。

6.3时间模型

时间模型分为媒体时间(mediatime)和场景时间(scenetime)两个概念。场景时间是一个相对时

间，任何场景时间都从该场景开始建立的时刻算起，初值都为0。媒体时间可为绝对时间，与场景时间

无关。综合场景时间模型见图2。

佈3K

廉JtiHX(X)何(1):箫场廉〉

图2综合场景时间模型

示例：某一事件X的媒体时间是a,对应新场景建立的媒体时间是b,则X在该新场景中的场景时间就是(a-b)o

6.4执行模型

当场景流输入时，通过场景解析器对其进行解析，得到的各场景单元送入场景树管理器，构建完整

的场景树,最后在终端完成场景呈现。综合场景执行模型见图3。

诙I》场尿划析场ttwnif场I_______\

r\rIIJrF

图3综合场景执行模型

执行模型中各处理说明如下：

a)场景解析:从输入的场景流中解析出场景单元；

b)场景树管理:根据输入的场景单元构建场景树，并执行场景指令、处理所有事件、确定所有开始

和结束时间；

c)场景呈现:呈现场景内容，例如图片、图形、文字等。

3

GB/T20090.12—2015

6.5事件

6.5.1SVG事件

事件主要指在场景呈现过程中用户所做出的一些动作，比如鼠标事件、键盘事件、遥控器事件、场景

界面大小改变的事件等，还有一些由时间所触发的事件，如开始（begin）和结束（end）。

示例：

<eventname="moviel.end"handler=n#conditionall"/>

该事件表示元索moviel结束时，执行相应操作conditionallo

引自SVG的事件元素见表1。

表1SVG事件

事件名命名空间描述

focusinhttp：///2001/xml-events当一个元索获得焦点时发生

focusouthttp：//www.w3.org/2001/xml-events当一个元索失去焦点时发生

activatehttp：//www.w3.org/2001/xml-events当一个元素被激活时发生，例如通过鼠标点击或按键

当指针设备的按钮在一个元素上点击时发生，点击

clickhttp：//www./2001/xml-events

定义为同一屏幕位置的一次鼠标按下和松开

mousedown/2001/xml-events当指针设备的按钮在一个元素上按下时发生

mouseuphttp：///2001/xml-events当指针设备的按钮在一个元素上松开时发生

mouseoverhttp：///2001/xml-events当指针设备移动到一个元素上时发生

mousemove/2001/xml-events当指针设备在一个元素上移动吋发生

mouseouthttp：///2001/xml-events当指针设备从一个元素上移开时发生

mousewheelhttp：///2001/xml-events当旋转输入设备被激活吋发生

textinputhttp：///2001/xml-events当一到多个字符被输入吋发生

keyuphttp：///2001/xml-events当一个键被松开时发生

keydownhttp：///2001/xml-events当一个键被按下时发生

当用户代理完成加载一个元素及其依赖的资源

loadhttp：//www・/2001/xml-events

比如图片、样式表和脚本）时发生

resizehttp：///2001/xml-events当一个文档视图被调整尺寸时发生

scroll/2001/xml・events当一个文档视图被沿X轴或Y轴或同时沿两个轴平移吋发生

zoom/2001/xml・events当一个文档视图被缩放时发生

rotate/2001/xml-events当一个文档视图被旋转吋发生

beginEventhttp：///2001/xml-events当一个时间元素开始时发生

endEventhttp：///2001/xml-events当一个时间元素结束吋发生

repeatEventhttp：///2001/xml-events当一个时间元素重复吋发生

timer/2001/xml-events当一个吋钟的定时区间过去时发生

6.5.2扩展事件

本部分定义的事件元素见表2。

4

GB/T20090.12—2015

表2扩展事件

事件名命名空间描述

pause/2012/SyntheticScene当一个时间对象的时钟被暂停时发生

playhttp：///2012/SyntheticScene当一个时间对象的时钟被启动或继续时发生

stop/2012/SyntheticScene当一个时间对象的时钟被停止时发生

6.5.3事件的监听对象

事件的监听主要是指监听真事件，即由用户做出的动作。每一个事件都有监听对象以响应该事件。

事件的监听对象由listener属性来指定，只要在listener属性中指定的对象上发生该事件，就执行

handler属性定义的操作。

示例：

当recti或者imagel元索上发生鼠标双击事件，执行相应操作deleted

<rectid="rectinx="2"y="2"width="30"height="20"/〉

<imageid=nimagelnx="50ny=n40"xlink：href="#imagel"/〉

<eventname="double_clicknhandler二"#deletel"listener二"#recti,#imagel"/〉

6.6指令

6.6.1Add

语义：增加一个新值到口标元素的目标属性。

属性列表：

a)ref：目标元素的id值；

b)value：被增加的常数；

c)operandElcmcntId:被增加的常数所对应的源元素的id值；

d)operandAttributeNamc:被增加的常数所对应的源元素的属性；

e)attributeName：进行增加操作的目标元素的目标属性。

功能描述:根据目标元素的目标属性值的类型确定Add指令的实现，见表3。

被增加的常数的类型通常需要与目标元素的目标属性值的类型一致，除非可以被强制转换成同一

类型。如果同时存在属性operandElementld和operandAiiributeName,则表明被增加的值来口其他元

素的属性。

表3Add指令的实现

EI标属性值的类型Add指令的实现

字符串类型字符串的连接

数值类型数值和

示例：

元素idl的X属性值增加56,如果该属性不存在，则为idl加上该属性。

〈Addref=n#idl"attributeName=nx"value=”56"/〉

5

GB/T20090.12—2015

6.6.2Clean

语义：清空groupID对应的存储区域。对应的内存空间的元素属性数据将被清除。

属性列表:groupID：群组标识符。

示例：

清空groupID为gl的场景区域。

(CleangroupID="gl"/〉

6.6.3Delete

语义：删除目标元素或其子元素，或者删除目标元素或其子元素的目标属性。当指令中没有at-

tributeName属性时，表示删除目标元素或其子元素；否则，表示删除元素属性。

属性列表：

a)ref：目标元素的id值；

b)index；被删除的目标元素的子元素索引。该属性缺省则表示删除目标元素；

c)attributeName：被删除的目标属性。该属性缺省则表示删除目标元素或其子元素。

功能描述:Delete功能描述见表40

表4Delete功能描述

方式功能说明

当删除一个元索的时候，所有属于该元素

通过ref和index删除目标元素或其子元索

的子节点和属性都将从场景中移除

通过ref^index和attributeName删除EI标元素或其子元素的EI标届性

示例：

第一个Delete指令将删除id为recti元索的rx属性，第二个Delete指令将删除整个recti元素。

<rectid="recti"x="10uy="10"width=”40”height="50"rx="3"/〉

(Deleteref=n#recti"attributeName="rx"/〉

(Deleteref="#recti"/)

6.6.4Insert

语义：在目标元素中插入一个子元素或在其目标属性的值序列中插入一个值。

属性列表：

a)ref：目标元素的id,缺省情况下，插入的目标元素是SVGsvg元素；

b)index：在目标元素中插入一个子元素的情况下，表示插入子元素在目标元素的子元素序列中

的位置，默认为子元素序列的尾部；在目标元素的目标属性的值序列中插入一个值的情况下，

表示插入值在目标属性值序列中的位置，默认为值序列的尾部；

c)attributeName：插入操作发生的目标元素的目标属性名称。默认值是“children”，表示在目标

元素中插入一个子元素；否则，表示在目标属性的值序列中插入一个值；

d)value：插入的常数值。

示例：

向groupl元素中插入一个子元素rectio

〈Insertref="#groupln〉

〈rectid=vrecti"x=n5ny=”6”width=n23"height=n50'7>

(/Insert)

6

GB/T20090.12—2015

6.6.5NewScene

语义：开始呈现一个新的场景。所有目前正在呈现的场景将被停止，资源被释放，并被替换成指定

场景。场景时间重置为0。

属性列表:无属性。

子元素：构成新场景初始状态的单个SVGsvg元素。

示例：开始一个新场景，呈现svg元素中的内容<

(NewScene)

<svgwidth=”200"height="200"viewbox=”00100100"〉

</svg)

</NewScene)

6.6.6Replace

语义:替换元素或属性。

替换元素指将目标元素替换为一个新的元素。ref属性指定将被替换的目标元素。将替换该元素

以及所有实例，包括被SVGuse所引用的所有实例。

替换属性指将目标元素的目标属性替换为一个新的值。attributeName属性指定将被替换的目标

属性,value属性指定用于替换的新值。替换指令也可以把目标元素的目标属性替换成另外一个元素的

属性中包含的值，用于替换的值由operandElcmentld和operandAltributeName属性指定。在这种情

况下，属性值的类型通常需要一致，除非可以被强制转换成同一类型。

下列属性不能被替换：id、by、from、to、values、type、xml：space和fill0这个限制可以用替换整个元

素的方法来绕过。

属性列表：

a)ref：B标元素的id值；

b)index：将被替换的属性值在目标属性值序列中的位置。该属性缺省则表示整体替换目标属性

的值；

c)attributeName：进行替换操作的目标元素的目标属性。该属性缺省则表示替换整个目标

元素；