T/AI 127.5-2024 信息技术 视觉特征编码 第5部分：语义分割图

ICS35.040

CCSL71

团体标准

T/AI127.5—2024

信息技术视觉特征编码

第5部分：语义分割图

Informationtechnology–Visualfeaturecoding

Part5:Semanticsegmentationmap

2024-07-09发布2024-07-09实施

中关村视听产业技术创新联盟发布

T/AI127.5—2024

目次

前言.................................................................................................................................................II

引言................................................................................................................................................III

1范围..............................................................................................................................................1

2规范性引用文件...........................................................................................................................1

3术语和定义...................................................................................................................................1

4缩略语...........................................................................................................................................2

5约定..............................................................................................................................................2

5.1概述.......................................................................................................................................2

5.2算术运算符...........................................................................................................................2

5.3逻辑运算符...........................................................................................................................2

5.4关系运算符...........................................................................................................................2

5.5位运算符...............................................................................................................................3

5.6赋值.......................................................................................................................................3

5.7位流语法、解析过程和解码过程的描述方法....................................................................3

6语法和语义...................................................................................................................................6

6.1语义分割图语法...................................................................................................................6

6.2语义分割图语法...................................................................................................................9

7语义分割图解码.........................................................................................................................11

7.1语义分割图数据.................................................................................................................11

7.2解码框架.............................................................................................................................11

7.3解码工具的具体实现..........................................................................................................12

附录A（资料性）语义分割图概述...........................................................错误!未定义书签。

参考文献.............................................................................................................................17

I

T/AI127.5—2024

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》

的规定起草。

本文件是T/AI127《信息技术视觉特征编码》的第5部分。T/AI127已经发布了如下部

分：

——第2部分:手工设计特征；

——第3部分:深度学习特征；

——第4部分：深度特征图；

——第5部分：语义分割图；

——第6部分：结构点序列。

本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。

本文件由中关村视听产业技术创新联盟归口。

本文件起草单位：中国科学技术大学，鹏城实验室，北京大学，上海交通大学，青岛海

信网络科技股份有限公司。

本文件起草人：刘东，杨闰宇，闫宁，吴枫，段凌宇，白燕，林巍峣，刘士湛，王雯雯，

赵海英，崔晓冉。

II

T/AI127.5—2024

引言

本文件规定了对视觉特征表示与编码技术的规范，旨在确立适用于手工设计特征、深度

学习特征、深度特征图、语义分割图、结构点序列的视觉特征压缩规范，以及特征码流设计

与系统构建规范，拟由六个部分组成：

——第1部分:系统。目的在于设计特征编码系统，提供整合特征码流的规范，实现特

征高效交互与协同应用。

——第2部分:手工设计特征。目的在于确立适用于传统手工设计特征的表示与压缩标

准。

——第3部分:深度学习特征。目的在于确立适用于从深度学习模型中提取的高维特征

向量的表示与压缩标准。

——第4部分：深度特征图。目的在于确立适用于从深度学习模型中提取的通用深度特

征图的表示与压缩标准。

——第5部分：语义分割图。目的在于确立适用于语义分割图的高效表征与无损压缩标

准。

——第6部分：结构点序列。目的在于确立适用于结构点序列的时空域高效表征与压缩

标准。

III

T/AI127.5—2024

信息技术视觉特征编码

第5部分：语义分割图

1范围

本文件规定了语义分割图无损编码解码过程和编码格式。

本文件适用于图像和视频数据中目标检测、目标追踪、场景理解和辅助图像与视频编码

等应用。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

语义分割图semanticmap

以不同像素值代表不同目标对象的图像。

3.2

四叉树划分quadtreepartition

将图像块递归划分为大小相同的四个图像块的划分方法，广泛应用于视频编码。

3.3

链式编码chaincode

用于描述图像中目标轮廓的算法。

3.4

像素pixel

原始图像或转换图像的最小单元，每个像素包含空间坐标信息及其亮度值。

3.5

像素值pixelvalue

像素的亮度值。

3.6

颜色值colorvalue

像素值在编码过程中的映射值。

3.7

帧frame

视频信号空间信息的表示，由一个亮度样本矩阵（Y）构成或由一个亮度样本矩阵（Y）

和两个色度样本矩阵（U和V）构成。

3.8

位流bitstream

编码图像所形成的二进制数据流。

1

T/AI127.5—2024

4缩略语

下列缩略语适用于本文件。

CTU：编码树单元（CodingTreeUnit）

CU：编码单元（CodingUnit）

5约定

5.1概述

本文件中使用的数学运算符和优先级参照C语言。但对整型除法和算术移位操作进行了

特定定义。除特别说明外，约定编号和计数从0开始。

5.2算术运算符

算术运算符定义见表1。

表1算术运算符定义

算术运算符定义

+加法运算

-减法运算（二元运算符）或取反（一元前缀运算符）

乘法运算

/整除运算，沿向0的取值方向截断。例如，7/4和-7/-4截断至1，-7/4和7/-4截断至-1

a%b模运算，a除以b的余数，其中a与b都是正整数

5.3逻辑运算符

逻辑运算符定义见表2。

表2逻辑运算符定义

逻辑运算符定义

a&&ba和b之间的与逻辑运算

a||ba和b之间的或逻辑运算

!逻辑非运算

5.4关系运算符

关系运算符定义见表3。

表3关系运算符定义

关系运算符定义

>大于

>=大于或等于

<小于

==等于

2

T/AI127.5—2024

5.5位运算符

位运算符定义见表4。

表4位运算符定义

位运算符定义

a>>b将a以2的补码整数表示的形式向右移b位。仅当b取正数时定义此运算

5.6赋值

赋值运算定义见0。

表5赋值运算定义

赋值运算定义

=赋值运算符

++递增，x++相当于x=x+1。当用于数组下标时，在自加运算前先求变量值

5.7位流语法、解析过程和解码过程的描述方法

5.7.1位流语法的描述方法

位流语法描述方法类似C语言。位流的语法元素使用粗体字表示，每个语法元素通过名

字（用下划线分割的英文字母组，所有字母都是小写）、语法和语义来描述。语法表和正文

中语法元素的值用常规字体表示。

某些情况下，可在语法表中应用从语法元素导出的其他变量值，这样的变量在语法表或

正文中用不带下划线的小写字母和大写字母混合命名。大写字母开头的变量用于解码当前

以及相关的语法结构，也可用于解码后续的语法结构。小写字母开头的变量只在它们所在的

小节内使用。

语法元素值的助记符和变量值的助记符与它们的值之间的关系在正文中说明。在某些

情况下，二者等同使用。助记符由一个或多个使用下划线分隔的字母组表示，每个字母组以

大写字母开始，也可包括多个大写字母。

位串的长度是4的整数倍时，可使用十六进制符号表示。十六进制的前缀是“0x”，例如

“0x1a”表示位串“00011010”。

条件语句中0表示FALSE，非0表示TRUE。

语法表描述了所有符合本文件的位流语法的超集，附加的语法限制在相关条中说明。

描述语法的伪代码例子见表6。当语法元素出现时，表示从位流中读一个数据单元。

3

T/AI127.5—2024

表6语法描述的伪代码

伪代码描述符

/*语句是一个语法元素的描述符，或者说明语法元素的存在、类型和数值，

下面给出两个例子。*/

syntax_elementue(v)

conditioningstatement

/*花括号括起来的语句组是复合语句，在功能上视作单个语句。*/

{

statement

…

}

/*“while”语句测试condition是否为TRUE，如果为TRUE，则重复执行循环

体，直到condition不为TRUE。*/

while(condition)

statement

/*“do…while”语句先执行循环体一次，然后测试condition是否为TRUE，如果

为TRUE，则重复执行循环体，直到condition不为TRUE。*/

do

statement

while(condition)

/*“if…else”语句首先测试condition，如果为TRUE，则执行primarY语句，否

则执行alternative语句。如果alternative语句不需要执行，结构的“else”部分和

相关的alternative语句可忽略。*/

if(condition)

primarYstatement

else

alternativestatement

/*“for”语句首先执行initial语句，然后测试condition，如果conditon为TRUE，

则重复执行primarY语句和subsequent语句直到condition不为TRUE。*/

for(initialstatement;condition;subsequentstatement)

primarYstatement

解析过程和解码过程用文字和类似C语言的伪代码描述。

5.7.2函数

以下函数用于语法描述。假定解码器中存在一个位流指针，这个指针指向位流中要读取

的下一个二进制位的位置。函数由函数名及左右圆括号内的参数构成。函数也可没有参数。