T/AI 127.6-2024 信息技术 视觉特征编码 第6部分：结构点序列

ICS35.040

CCSL71

团体标准

T/AI127.6—2024

信息技术视觉特征编码

第6部分：结构点序列

Informationtechnology–Visualfeaturecoding–

Part6:Structurepointsequence

2024-07-09发布2024-07-09实施

中关村视听产业技术创新联盟发布

T/AI127.6—2024

目次

前言.............................................................................................................................................................III

引言.............................................................................................................................................................Ⅲ

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4缩略语...............................................................................................................................................................2

5约定...................................................................................................................................................................2

5.1概述..........................................................................................................................................................2

5.2算术运算符................................................................................................................................................2

5.3逻辑运算符................................................................................................................................................3

5.4关系运算符................................................................................................................................................3

5.5位运算符....................................................................................................................................................3

5.6赋值............................................................................................................................................................3

5.7位流语法、解析过程和解码过程的描述方法........................................................................................4

6语法和语义.......................................................................................................................................................6

6.1结构点序列语法........................................................................................................................................7

6.2结构点序列语义......................................................................................................................................10

7结构点序列编码.............................................................................................................................................12

7.1结构点序列..............................................................................................................................................12

7.2基于多模式的编码方法..........................................................................................................................16

7.3基于迭代预测的多个编码模式融合......................................................................................................20

7.4特殊处理..................................................................................................................................................22

7.5输出码流格式..........................................................................................................................................23

7.6含多种结构体的结构点序列编码..........................................................................................................23

附录A（资料性）结构点获取....................................................................................................24

附录B（资料性）结构点序列解码流程图................................................................................25

附录C（资料性）技术参数说明................................................................................................26

参考文献.........................................................................................................................................27

I

T/AI127.6—2024

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

本文件是T/AI127《信息技术视觉特征编码》的第6部分。T/AI127已经发布了如下部分：

——第2部分:手工设计特征；

——第3部分:深度学习特征；

——第4部分：深度特征图；

——第5部分：语义分割图；

——第6部分：结构点序列。

本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。

本文件由中关村视听产业技术创新联盟归口。

本部分起草单位：上海交通大学，鹏城实验室，北京大学，博云视觉（北京）科技有限公司，青岛

海信网络科技股份有限公司

本部分起草人：林巍峣，刘鸣洲，陈一航，段凌宇，陈杰，高雪松，张四海，王雯雯，熊红凯，赵

海英，崔晓冉。

II

T/AI127.6—2024

引言

本文件规定了对视觉特征表示与编码技术的规范，旨在确立适用于手工设计特征、深度学习特征、

深度特征图、语义分割图、结构点序列的视觉特征压缩规范，以及特征码流设计与系统构建规范，拟由

六个部分组成：

——第1部分:系统。目的在于设计特征编码系统，提供整合特征码流的规范，实现特征高效交互

与协同应用。

——第2部分:手工设计特征。目的在于确立适用于传统手工设计特征的表示与压缩标准。

——第3部分:深度学习特征。目的在于确立适用于从深度学习模型中提取的高维特征向量的表示

与压缩标准。

——第4部分：深度特征图。目的在于确立适用于从深度学习模型中提取的通用深度特征图的表示

与压缩标准。

——第5部分：语义分割图。目的在于确立适用于语义分割图的高效表征与无损压缩标准。

——第6部分：结构点序列。目的在于确立适用于结构点序列的时空域高效表征与压缩标准。

本文件的发布机构提请注意，声明符合本文件时，可能涉及到6、7与《用于视频中的人体骨架的

多模态无损压缩实现方法》（专利号：CN111641830A）；6、7与《基于参数化及细节表征的人脸图像压

缩及还原方法及系统》（专利号：CN106295561A）相关专利的使用。

本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。

该专利持有人已向本文件的发布机构保证，他愿意同任何申请人在合理且无歧视的条款和条件

下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相关信息可以通过

以下联系方式获得：

专利持有人：上海交通大学

地址：上海市闵行区东川路800号上海交通大学闵行校区电院群楼1号楼，邮编：200240

联系人：林巍峣

通讯地址：上海市闵行区东川路800号上海交通大学闵行校区

邮政编码：200240

电子邮件：wylin@

电话：021-34204395

网址：https://weiyaolin.github.io

请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识别这些专利

的责任。

III

T/AI127.6—2024

信息技术视觉特征编码

第6部分：结构点序列

1范围

本标准规范了视频中的多种结构点序列的表征格式，设计了对于结构点序列进行无损

编码与解码的工具。

本部分适用于视频数据中的运动目标行为识别，运动目标行为分析，汽车辅助驾驶等应

用。

2规范性引用文件

本文件不包含规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

结构体structurebody

一段视频帧中用于被提取特征的实体对象（如人脸、汽车、人体、物体等）。

3.2

结构点structurepoint

记录结构体特征信息的坐标点（如人脸特征点、汽车3D识别框角点、人体骨架特征点、

物体定位点等）。

3.3

结构点序列structurepointsequence

描述一帧中某一结构体所有结构点坐标的序列。

3.4

中心结构点centralstructurepoint

在结构体中最靠近其几何中心位置的一个结构点。

3.5

父结构点parentstructurepoint

存在于父子结构点关系对中。编码时位置信息被用于参考的结构点为父结构点。在后文

的图示中，父子结构点使用箭头连接，箭头起点为父结构点，箭头终点为子结构点。

3.6

子结构点childstructurepoint

存在于父子结构点关系对中。编码时参考父结构点位置信息的结构点为子结构点。在后

文的图示中，父子结构点使用箭头连接，箭头起点为父结构点，箭头终点为子结构点。

3.7

检测detection

对于结构体中的结构点进行获取的过程。

1

T/AI127.6—2024

3.8

跟踪track

对视频帧中的结构体进行跟随的过程。

3.9

像素pixel

原始图像或转换图像的最小单元，每个像素包含空间坐标信息及其亮度和色度值。

3.10

模式model

对某一结构体中某个结构点采用的编码方式。

3.11

关键帧intraframe

用于进行帧内空间自差分编码的帧，该类型的帧在编解码时不参考其他帧的信息。关键

帧的出现频率可由关键帧间隔来指定，关键帧间隔的定义见6.2。

3.12

非关键帧interframe

用于进行帧间差分编码的帧，该类型的帧在编解码时参考已解码帧的信息。关键帧以外

的帧是非关键帧。

3.13

参考帧referenceframe

若当前帧是非关键帧，那么前一帧为其参考帧。

3.14

前序参考帧formerreferenceframe

若当前帧与前一帧都是非关键帧，那么前一帧的参考帧为当前帧的前序参考帧。

4缩略语

下列缩略语适用于本文件。

2D：二维

3D：三维

ID：视频帧特定结构体的编号

MV：运动矢量

5约定

5.1概述

本部分中使用的数学运算符和优先级参照C语言。但对整型除法和算术移位操作进行了

特定定义。除特别说明外，约定编号和计数从0开始。

5.2算术运算符

算术运算符定义见表1。

表1算术运算符定义

算术运算符定义

+加法运算

-减法运算（二元运算符）或取反（一元前缀运算符）

2

T/AI127.6—2024

表1算术运算符定义（续）

算术运算符定义

乘法运算

ab幂运算，表示a的b次幂。也可表示上标

a/整除运算，沿向0的取值方向截断。例如，7/4和-7/-4截断至1，-7/4和7/-4截断至-1

b除法运算，不做截断或四舍五入

5.3逻辑运算符

逻辑运算符定义见表2。

表2逻辑运算符定义

逻辑运算符定义

a&&ba和b之间的与逻辑运算

a||ba和b之间的或逻辑运算

!逻辑非运算

5.4关系运算符

关系运算符定义见表3。

表3关系运算符定义

关系运算符定义

>大于

>=大于或等于

<小于

<=小于或等于

==等于

!=不等于

5.5位运算符

位运算符定义见表4。

表4位运算符定义

位运算符定义

&与运算

|或运算

~取反运算

a>>b将a以2的补码整数表示的形式向右移b位。仅当b取正数时定义此运算

a<<b将a以2的补码整数表示的形式向左移b位。仅当b取正数时定义此运算

5.6赋值

赋值运算定义见0。

3

T/AI127.6—2024

表5赋值运算定义

赋值运算定义

=赋值运算符

++递增，x++相当于x=x+1。当用于数组下标时，在自加运算前先求变量值

--递减，x--相当于x=x–1。当用于数组下标时，在自减运算前先求变量值

+=自加指定值，例如x+=3相当于x=x+3，x+=(-3)相当于x=x+(-3)

-=自减指定值，例如x-=3相当于x=x-3,，x-=(-3)相当于x=x-(-3)

5.7位流语法、解析过程和解码过程的描述方法

5.7.1位流语法的描述方法

位流语法描述方法类似C语言。位流的语法元素使用粗体字表示，每个语法元素通过名

字（用下划线分割的英文字母组，所有字母都是小写）、语法和语义来描述。语法表和正文

中语法元素的值用常规字体表示。

某些情况下，可在语法表中应用从语法元素导出的其他变量值，这样的变量在语法表或

正文中用不带下划线的小写字母和大写字母混合命名。大写字母开头的变量用于解码当前

以及相关的语法结构，也可用于解码后续的语法结构。小写字母开头的变量只在它们所在的

小节内使用。

语法元素值的助记符和变量值的助记符与它们的值之间的关系在正文中说明。在某些

情况下，二者等同使用。助记符由一个或多个使用下划线分隔的字母组表示，每个字母组以

大写字母开始，也可包括多个大写字母。

位串的长度是4的整数倍时，可使用十六进制符号表示。十六进制的前缀是“0x”，例如

“0x1a”表示位串“00011010”。

条件语句中0表示FALSE，非0表示TRUE。

语法表描述了所有符合本部分的位流语法的超集，附加的语法限制在相关条中说明。

描述语法的伪代码例子见表6。当语法元素出现时，表示从位流中读一个数据单元。

表6语法描述的伪代码

伪代码描述符

/*语句是一个语法元素的描述符，或者说明语法元素的存在、类型和数值，

下面给出两个例子。*/

syntax_elementue(v)

conditioningstatement

/*花括号括起来的语句组是复合语句，在功能上视作单个语句。*/

{

statement

…

}

/*“while”语句测试condition是否为TRUE，如果为TRUE，则重复执行循环

体，直到condition不为TRUE。*/

while(condition)

statement

4

T/AI127.6—2024

表6语法描述的伪代码（续）

伪代码描述符

/*“do…while”语句先执行循环体一次，然后测试condition是否为TRUE，如果

为TRUE，则重复执行循环体，直到condition不为TRUE。*/

do

statement

while(condition)

/*“if…else”语句首先测试condition，如果为TRUE，则执行primarY语句，否

则执行alternative语句。如果alternative语句不需要执行，结构的“else”部分和

相关的alternative语句可忽略。*/

if(condition)

primarYstatement

else

alternativestatement

/*“for”语句首先执行initial语句，然后测试condition，如果conditon为TRUE，

则重复执行primarY语句和subsequent语句直到condition不为TRUE。*/

for(initialstatement;condition;subsequentstatement)

primarYstatement

解析过程和解码过程用文字和类似C语言的伪代码描述。

5.7.2函数

以下函数用于语法描述。假定解码器中存在一个位流指针，这个指针指向位流中要读

取的下一个二进制位的位置。函数由函数名及左右圆括号内的参数构成。函数也可没有参

数。

StructureSequenceExtension()

结构点序列编码的入口函数。具体过程的定义见6.1。

InitEncodeOrder()

从结构点的空间依赖关系数组中解析结构点编解码顺序数组。具体过程的定义见6.1。

结构点的空间依赖关系数组见7.1.3。

WriteBoneExist()

编码当前结构体中每个结构点的存在性。具体过程的定义见6.1。

SpatialEncode()

空间自差分模式编码，具体过程的定义见6.1。

BestModeChoose()

根据A矩阵的数值选取当前结构点最优的编码模式，对于待编码的结构点j，如果其

A矩阵的数值全为0则采用基于运动矢量的帧间差分模式，否则根据A矩阵的最大值所

5

T/AI127.6—2024

在索引相应地采用基于运动矢量的帧间差分模式，基于运动矢量的相对帧间差分模式，基

于线性预测的帧间差分模式或基于中值预测的帧间差分模式。A矩阵的定义见7.3。帧间

编码模式的原理见至，具体过程的定义见7.3。

MVEncode()

基于运动矢量的帧间差分模式编码，具体过程的定义见6.1。

MVREncode()

基于运动矢量的相对帧间差分模式编码，具体过程的定义见6.1。

LinearEncode()

基于线性预测的帧间差分模式编码，具体过程的定义见6.1。

MedianEncode()

基于中值预测的帧间差分模式编码，具体过程的定义见6.1。

Mid()

选取输入的三个数据中，数值居中的一个。

5.7.3描述符

描述符表示不同语法元素的解析过程，见表7。

表7描述符

描述符说明

ue(v)无符号0阶指数哥伦布编码

有符号0阶指数哥伦布编码。具

体做法为：如果v<=0，那么将其

转化为2|v|后用无符号0阶指数哥

se(v)

伦布编码;如果v>0，那么将其

转化为2|v|-1后用无符号0阶指数

哥伦布编码。

编码对象为布尔类型，直接存储

fx(1)

为1比特长度

5.7.4保留、禁止和标记位

本部分定义的位流语法中，某些语法元素的值被标注为“保留”（reserved）或“禁止”

（forbidden）。

“保留”定义了一些特定语法元素值用于将来对本部分的扩展。这些值不应出现在符合本

部分的位流中。

“禁止”定义了一些特定语法元素值，这些值不应出现在符合本部分的位流中。

“标记位”（marker_bit）指该位的值应为‘1’。

位流中的“保留位”（reserved_bits）表明保留了一些语法单元用于将来对本部分的扩展，解码

处理应忽略这些位。“保留位”不应出现从任意字节对齐位置开始的21个以上连续的‘0’。

6语法和语义

6

T/AI127.6—2024

6.1结构点序列语法

结构点序列编码语法见表8。此表包含了结构点序列在编码时的整体框架，其调用的函

数及其编码的语义。

表8结构点序列编码语法

结构点序列编码的入口函数描述符

StructureSequenceExtension(){