T/AI 127.2-2024 信息技术 视觉特征编码 第2部分：手工设计特征

ICS35.040

CCSL71

团体标准

T/AI127.2—2024

信息技术视觉特征编码

第2部分：手工设计特征

Informationtechnology–Visualfeaturecoding

Part2:Hand-craftedfeature

2024-07-09发布2024-07-09实施

中关村视听产业技术创新联盟发布

T/AI127.2—2024

目次

前言.............................................................................................................................................................III

引言............................................................................................................................................................IV

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4缩略语...............................................................................................................................................................2

5约定...................................................................................................................................................................2

5.1概述............................................................................................................................................................2

5.2算术运算符................................................................................................................................................2

5.3关系运算符................................................................................................................................................3

5.4位运算符....................................................................................................................................................3

5.5赋值............................................................................................................................................................4

5.6助记符........................................................................................................................................................4

5.7描述符........................................................................................................................................................4

5.8常量............................................................................................................................................................5

5.9位流语法、解析过程和解码过程的描述方法........................................................................................5

6语法和语义.......................................................................................................................................................6

6.1手工设计特征编码语法............................................................................................................................6

6.2手工设计特征编码语义............................................................................................................................9

7手工设计特征编码.........................................................................................................................................12

7.1原始图像预处理......................................................................................................................................12

7.2兴趣点检测..............................................................................................................................................12

7.3局部特征选择..........................................................................................................................................17

7.4局部特征描述..........................................................................................................................................19

7.5局部特征描述子聚合..............................................................................................................................19

7.6局部特征描述子压缩..............................................................................................................................23

7.7局部特征位置压缩..................................................................................................................................25

7.8不同图像描述子长度下的压缩局部特征描述子数量计算..................................................................25

附录A（资料性）图像紧凑特征编码器结构........................................................................................26

附录B（规范性）尺度空间构造滤波器系数.........................................................................................27

附录C（规范性）特征选择中的概率值................................................................................................28

附录D（规范性）局部特征描述子聚合的PCA投影矩阵...................................................................29

附录E（规范性）局部特征描述子聚合中的高斯混合模型参数.........................................................37

附录F（规范性）局部特征描述子聚合中的高斯函数选择参数.......................................................101

附录G（规范性）局部特征描述子聚合中的比特选择掩码..............................................................102

附录H（规范性）局部特征描述子压缩码书......................................................................................103

I

T/AI127.2—2024

附录I（资料性）图像紧凑特征解码....................................................................................................109

附录J（资料性）物体检测器...............................................................................................................110

参考文献...................................................................................................................................................112

II

T/AI127.2—2024

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

本文件是T/AI127《信息技术视觉特征编码》的第2部分。T/AI127已经发布了如下部分：

——第2部分:手工设计特征；

——第3部分:深度学习特征；

——第4部分：深度特征图；

——第5部分：语义分割图；

——第6部分：结构点序列。

本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。

本文件由中关村视听产业技术创新联盟归口。

本部分起草单位：鹏城实验室，北京大学，博云视觉（北京）科技有限公司，青岛海信网络科技股

份有限公司，浙江邦盛科技股份有限公司

本部分起草人：段凌宇，陈杰，白燕，楼燚航，高峰，梁良，王雯雯，陈卓，杨文瀚，王新宇，陈

伟，赵海英，崔晓冉。

III

T/AI127.2—2024

引言

本文件规定了对视觉特征表示与编码技术的规范，旨在确立适用于手工设计特征、深度学习特征、

深度特征图、语义分割图、结构点序列的视觉特征压缩规范，以及特征码流设计与系统构建规范，拟由

六个部分组成：

——第1部分:系统。目的在于设计特征编码系统，提供整合特征码流的规范，实现特征高效交互

与协同应用。

——第2部分:手工设计特征。目的在于确立适用于传统手工设计特征的表示与压缩标准。

——第3部分:深度学习特征。目的在于确立适用于从深度学习模型中提取的高维特征向量的表示

与压缩标准。

——第4部分：深度特征图。目的在于确立适用于从深度学习模型中提取的通用深度特征图的表示

与压缩标准。

——第5部分：语义分割图。目的在于确立适用于语义分割图的高效表征与无损压缩标准。

——第6部分：结构点序列。目的在于确立适用于结构点序列的时空域高效表征与压缩标准。

本文件的发布机构提请注意，声明符合本文件时，可能涉及到7.3、7.4、7.5、7.6、7.7与《获取

图像的紧全局特征描述子的方法及图像检索方法》（专利号：ZL201310127331.7）；7.8与《获取可伸

缩全局特征描述子的方法》（专利号：ZL201410183602.5）；7.2与《图像兴趣点检测方法和装置》（专

利号：ZL201310126255.8）；7.3与《一种局部视觉特征选择方法及装置》（专利号：ZL201610687614.0）

相关专利的使用。

本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。

该专利持有人已向本文件的发布机构保证，他愿意同任何申请人在合理且无歧视的条款和条件下，

就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相关信息可以通过以下联

系方式获得：

专利持有人：北京大学

地址：北京市海淀区颐和园路5号理科2号楼，邮编:100871

联系人：段凌宇

通讯地址：北京市海淀区颐和园路5号，北京大学，视频与视觉技术国家工程中心

邮政编码：100098

电子邮件：lingyu@

电话：18600799780

网址：/info/1089/1654.htm

请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识别这些专利

的责任。

IV

T/AI127.2—2024

信息技术视觉特征编码

第2部分：手工设计特征

1范围

本文件规定了图像中的目标或场景的特征表示方法、编解码过程和编码格式，设计了描

述图像中的目标或场景的紧凑特征的工具，基于紧凑特征的目标或场景匹配能够应对光照变

化、拍摄视角变化、不同相机参数等不同成像条件。

本文件适用于图像数据中目标或场景的检测、搜索、分析等应用。

2规范性引用文件

本文件不包含规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

手工设计特征hand-craftedfeature

根据专家领域知识构建的、非端到端优化而得到的紧凑视觉特征，旨在捕捉数据中与特

定任务相关的最有价值信息。

3.2

手工设计特征编码codingofhand-craftedfeature

将手工设计特征压缩为紧凑码流的过程。

3.3

编码器encoder

完成编码过程的实体。

3.4

图像局部特征imagelocalfeature

对图像中局部区域的特征描述，包括兴趣点及其局部区域和相应的特征描述。

3.5

图像描述子imagedescriptor

图像描述子是对一幅图像中提取的紧凑特征的描述，并且对其按照第7章介绍的方法进

行编码。

3.6

图像描述子长度imagedescriptorlength

图像描述子的长度，用字节表示。本标准定义5种图像描述子的平均长度，即512字节，

1024字节，2048字节，4096字节，以及8192字节，同时也定义了每一种长度的编码过程。

3.7

原始图像originalimage

图像描述子编码器的输入图像，具体细节将在7.1中介绍。

3.8

转换图像convertedimage

对原始图像进行空域采样和灰度化后的版本。图像描述子就是从转换后的图像中提取。

3.9

像素pixel

原始图像或转换图像的最小单元，每个像素包含空间坐标信息及其亮度值。

3.10

1

T/AI127.2—2024

兴趣点interestpoint

兴趣点是图像中的点，这些点在图像局部或全局扰动（包括透视变换，尺度变化以及光

照变化等）的影响下具有稳定的可检测性。

3.11

局部区域localregion

图像兴趣点的一个邻域，用于生成局部特征描述子。

3.12

单元cell

将局部区域划分为4x4块后的每一个子块。

3.13

单元直方图cellhistogram

从单元计算出的梯度方向直方图。

3.14

局部特征描述子localfeaturedescriptor

局部区域的描述子，由单元直方图计算得到。

3.15

全局描述子globaldescriptor

对图像的一种紧凑表达，它是由局部特征描述子聚合而成的。

3.16

压缩的局部特征描述子compressedlocalfeaturedescriptor

对局部特征描述子的一种压缩表示。

3.17

兴趣点坐标interestpointcoordinate

在转换后图像的分辨率下，兴趣点的横纵坐标，四舍五入到最近的整数值。

3.18

直方图计数histogramcount

一个数组，数组的数字顺序对应于直方图矩阵中非零网格中所包含的检测到兴趣点的数

目。

4缩略语

下列缩略语适用于本文件。

LoG：高斯拉普拉斯（Laplacian-of-Gaussian）

IoU：交并比（Intersection-over-Union）

NMS：非极大抑制（Non-MaximumSuppression）

ResNet：深度残差网络（DeepResidualNetwork）

RPN：区域提取网络(RegionProposalNetwork)

FPN：特征金字塔网络（FeaturePyramidNetwotk）

5约定

5.1概述

本部分中使用的数学运算符和优先级参照C语言。但对整型除法和算术移位操作进行了

特定定义。除特别说明外，约定编号和计数从0开始。

5.2算术运算符

算术运算符定义见表1。

2

T/AI127.2—2024

表1算术运算符定义

算术运算符定义

+加法运算

-减法运算（二元运算符）或取反（一元前缀运算符）

乘法运算

ab幂运算，表示a的b次幂。也可表示上标

/整除运算，沿向0的取值方向截断。例如，7/4和-7/-4截断至1，-7/4和7/-4截断至-1

÷除法运算，不做截断或四舍五入

a

除法运算，不做截断或四舍五入

b

b

fi()自变量i取由a到b（含b）的所有整数值时，函数fi()的累加和

ia=

a%b模运算，a除以b的余数，其中a与b都是正整数

逻辑运算符定义见表2。

表2逻辑运算符定义

逻辑运算符定义

a&&ba和b之间的与逻辑运算

a||ba和b之间的或逻辑运算

!逻辑非运算

5.3关系运算符

关系运算符定义见表3。

表3关系运算符定义

关系运算符定义

>大于

>=大于或等于

<小于

<=小于或等于

==等于

!=不等于

5.4位运算符

位运算符定义见表4。

3

T/AI127.2—2024

表4位运算符定义

位运算符定义

&与运算

|或运算

~取反运算

a>>b将a以2的补码整数表示的形式向右移b位。仅当b取正数时定义此运算

a<<b将a以2的补码整数表示的形式向左移b位。仅当b取正数时定义此运算

5.5赋值

赋值运算定义见表5。

表5赋值运算定义

赋值运算定义

=赋值运算符

++递增，x++相当于x=x+1。当用于数组下标时，在自加运算前先求变量值

--递减，x--相当于x=x–1。当用于数组下标时，在自减运算前先求变量值

+=自加指定值，例如x+=3相当于x=x+3，x+=(-3)相当于x=x+(-3)

-=自减指定值，例如x-=3相当于x=x-3,，x-=(-3)相当于x=x-(-3)

5.6助记符

以下的助记符用来描述码流中用到的不同数据类型。

Bslbf（b,Bitstring,leftbitfirst）比特流，从左边开始，“左”是比特位写入的顺序。

Uimsbf（u,Unsignedinteger,mostsignificantbitfirst）无符号整数，高位优先。

Vlclbf（v,Variablelengthcode,leftbitfirst）变长码，从左开始，“左”表示VLC代码

写入比特流的顺序。多字节信息按照高位优先的顺序排列。

5.7描述符

描述符表示不同语法元素的解析过程，见表6。

表6描述符

描述符说明

b(n)从左边开始的任意n比特位的比特流

i(n)n位整数，高位优先。在语法表中，如果n是“v”，其位数由其他语法元素值确定

r(n)连续n个比特位的‘0’。

u(n)n位无符号整数，高位优先。在语法表中，如果n是“v”，其位数由其他语法元素值确定

ue(n)无符号指数哥伦布编码

vector数组类型

ObjectDetector物体检测器

HandDescriptor手工设计特征

Object检测物体

Coordinate边框坐标

4

T/AI127.2—2024

5.8常量

3.14159265358…

e2.71828182845…

5.9位流语法、解析过程和解码过程的描述方法

5.9.1位流语法的描述方法

位流语法描述方法类似C语言。位流的语法元素使用粗体字表示，每个语法元素通过名

字（用下划线分割的英文字母组，所有字母都是小写）、语法和语义来描述。语法表和正文

中语法元素的值用常规字体表示。

某些情况下，可在语法表中应用从语法元素导出的其他变量值，这样的变量在语法表或

正文中用不带下划线的小写字母和大写字母混合命名。大写字母开头的变量用于解码当前以

及相关的语法结构，也可用于解码后续的语法结构。小写字母开头的变量只在它们所在的小

节内使用。

语法元素值的助记符和变量值的助记符与它们的值之间的关系在正文中说明。在某些情

况下，二者等同使用。助记符由一个或多个使用下划线分隔的字母组表示，每个字母组以大

写字母开始，也可包括多个大写字母。

位串的长度是4的整数倍时，可使用十六进制符号表示。十六进制的前缀是“0x”，例如

“0x1a”表示位串“00011010”。

条件语句中0表示FALSE，非0表示TRUE。

语法表描述了所有符合本部分的位流语法的超集，附加的语法限制在相关条中说明。

表7给出了描述语法的伪代码例子。当语法元素出现时，表示从位流中读一个数据单元。

表7语法描述的伪代码

伪代码描述符

/*语句是一个语法元素的描述符，或者说明语法元素的存在、类型和数值，

下面给出两个例子。*/

syntax_elementue(v)

conditioningstatement

/*花括号包括起来的语句组是复合语句，在功能上视作单个语句。*/

{

statement

…

}

/*“while”语句测试condition是否为TRUE，如果为TRUE，则重复执行循环

体，直到condition不为TRUE。*/

while(condition)

statement

/*“do…while”语句先执行循环体一次，然后测试condition是否为TRUE，如果

为TRUE，则重复执行循环体，直到condition不为TRUE。*/

do

statement

while(condition)

5

T/AI127.2—2024

表7语法描述的伪代码（续）

伪代码描述符

/*“if…else”语句首先测试condition，如果为TRUE，则执行primarY语句，否

则执行alternative语句。如果alternative语句不需要执行，结构的“else”部分和

相关的alternative语句可忽略。*/

if(condition)

primarYstatement

else

alternativestatement

/*“for”语句首先执行initial语句，然后测试condition，如果conditon为TRUE，

则重复执行primarY语句和subsequent语句直到condition不为TRUE。*/

for(initialstatement;condition;subsequentstatement)

primarYstatement

解析过程和解码过程用文字和类似C语言的伪代码描述。

5.9.2函数概述

以下函数用于语法描述。假定解码器中存在一个位流指针，这个指针指向位流中要读取

的下一个二进制位的位置。函数由函数名及左右圆括号内的参数构成。函数也可没有参数。

HandDescriptor()

手工设计特征提取模块，输入图片（或图片及坐标），输出相应的特征。

5.9.3保留、禁止和标记位

本部分定义的位流语法中，某些语法元素的值被标注为“保留”（reserved）或“禁止”

（forbidden）。

“保留”定义了一些特定语法元素值用于将来对本部分的扩展。这些值不应出现在符合本

部分的位流中。

“禁止”定义了一些特定语法元素值，这些值不应出现在符合本部分的位流中。

“标记位”（marker_bit）指该位的值应为‘1’。

位流中的“保留位”（reserved_bits）表明保留了一些语法单元用于将来对本部分的扩展，

解码处理应忽略这些位。“保留位”不应出现从任意字节对齐位置开始的21个以上连续的‘0’。

6语法和语义

6.1手工设计特征编码语法

6

T/AI127.2—2024

表8手工设计特征编码语法

手工设计特征语法描述符

Descriptor{

DetectionModeb(1)

ObjNumu(8)

HDescriptorvector

if(DetectionMode){

ObjResults=ObjectDetector()ObjectDetector

for(k=0;k<ObjNum;k++){

Obj=ObjResults[k]

HDescriptor.append(HandDescriptor(img,Obj))HandDescriptor

}

HDescriptor.append(HandDescriptor(img))HandDescriptor

单个物体/图像手工设计特征语法见0。

表9单个物体/图像手工设计特征编码语法

单个物体/图像特征语法描述符

HandDescriptor{

VersionIDb(3)

ModeIDu(8)

GlobalHasBitSelectionb(1)

GlobalHasVarianceb(1)

TwoStageVQb(1)

ReservedBitsb(2)

OriginalImageXResolutionu(16)

OriginalImageYResolutionu(16)

NumberOfLocalDescriptorsu(16)

Objectu(8)

if(NumberOfLocalDescriptors>0){Object

for(k=0;k<NumberOfGlobalFunctions;k++){

GlobalFunctionPresent[k]b(1)

}