T/AI 127.3-2024 信息技术 视觉特征编码 第3部分：深度学习特征

ICS35.040

CCSL71

团体标准

T/AI127.3—2024

信息技术视觉特征编码

第3部分：深度学习特征

Informationtechnology–Visualfeaturecoding

Part3:Deeplearningfeature

2024-07-09发布2024-07-09实施

中关村视听产业技术创新联盟发布

T/AI127.3—2024

目次

前言......................................................................................................................................................................II

引言.................................................................................III

1范围.................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4约定...................................................................................................................................................................1

4.1概述............................................................................................................................................................2

4.2算术运算符................................................................................................................................................2

4.3逻辑运算符................................................................................................................................................2

4.4关系运算符................................................................................................................................................3

4.5位运算符....................................................................................................................................................3

4.6赋值............................................................................................................................................................3

4.7位流语法、解析过程和解码过程的描述方法........................................................................................4

5语法和语义.......................................................................................................................................................6

5.1深度学习特征编码语法............................................................................................................................6

5.2深度学习特征编码语义............................................................................................................................8

6深度学习特征编码...........................................................................................................................................9

6.1概述............................................................................................................................................................9

6.2哈希学习编码流程....................................................................................................................................9

6.3乘积量化编码流程....................................................................................................................................9

6.4长度可调整深度学习特征编码..............................................................................................................12

附录A（资料性）深度哈希编码检索流程........................................................................................14

附录B（规范性）哈希学习................................................................................................................16

附录C（资料性）乘积量化码书的训练............................................................................................17

I

T/AI127.3—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规则

起草。

本文件是T/AI127《信息技术视觉特征编码》的第3部分。T/AI127已经发布了如下部分：

——第2部分：手工设计特征；

——第3部分：深度学习特征；

——第4部分：深度特征图；

——第5部分：语义分割图；

——第6部分：结构点序列。

本文件由新一代人工智能产业技术创新战略联盟AI标准工作组提出。

本文件由中关村视听产业技术创新联盟归口。

本文件起草单位：鹏城实验室，北京大学，青岛海信网络科技股份有限公司，青岛图灵科技有限公

司，浙江邦盛科技股份有限公司

本文件起草人：段凌宇，刘美含，白燕，楼燚航，王雯雯，冯栋，高峰，陈卓，杨文瀚，王新宇，

陈伟，赵海英，崔晓冉。

II

T/AI127.3—2024

引言

本文件规定了对视觉特征表示与编码技术的规范，旨在确立适用于手工设计特征、深度学习特征、

深度特征图、语义分割图、结构点序列的视觉特征压缩规范，以及特征码流设计与系统构建规范，拟由

六个部分组成：

——第1部分:系统。目的在于设计特征编码系统，提供整合特征码流的规范，实现特征高效交互

与协同应用。

——第2部分:手工设计特征。目的在于确立适用于传统手工设计特征的表示与压缩标准。

——第3部分:深度学习特征。目的在于确立适用于从深度学习模型中提取的高维特征向量的表示

与压缩标准。

——第4部分：深度特征图。目的在于确立适用于从深度学习模型中提取的通用深度特征图的表示

与压缩标准。

——第5部分：语义分割图。目的在于确立适用于语义分割图的高效表征与无损压缩标准。

——第6部分：结构点序列。目的在于确立适用于结构点序列的时空域高效表征与压缩标准。

本文件的发布机构提请注意，声明符合本文件时，可能涉及到XX、XX中如下X项相关专利的使用。

专利名称如下：

本文件的发布机构提请注意，声明符合本文件时，可能涉及到6.1、6.2与《基于深度度量学习的

目标精确检索方法》（专利号：ZL201710060334.1）；6.1、6.2与《在网上搜索多媒体文件的方法和

装置》（专利号：ZL201310193569.X）；6.1、6.2与《一种基于二值码字典树的搜索方法》（专利

号：ZL201710142528.6）；6.1、6.2与《图像搜索方法及装置、图像搜索系统》（专利号：

ZL201510041221.8）相关专利的使用。

本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。

该专利持有人已向本文件的发布机构保证，他愿意同任何申请人在合理且无歧视的条款和条件下，

就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相关信息可以通过以下联

系方式获得：

专利持有人：北京大学

地址：北京市海淀区颐和园路5号理科2号楼，邮编:100871

联系人：段凌宇

通讯地址：北京市海淀区颐和园路5号，北京大学，视频与视觉技术国家工程中心

邮政编码：100098

电子邮件：lingyu@

电话：18600799780

网址：/info/1089/1654.htm

请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识别这些专利

的责任。

III

T/AI127.3—2024

信息技术视觉特征编码第3部分：深度学习特征

1范围

本文件规定了从深度网络中提取特征的二值化压缩编码方法及其编码过程，提供了面向图像的细

粒度检索的检索框架。基于哈希学习的编码方法可以应用于各种卷积网络提取出的深度特征。

本文件适用于图像和视频数据中目标或场景的搜索、识别等应用。

2规范性引用文件

本文件不包含规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

深度网络deepneuralnetwork

多层神经网络。

3.2

深度特征deepfeature

经过深度卷积网络提取后的具有语义信息的浮点数向量。

3.3

交叉熵损失cross-entropyloss

基于最大似然函数对数化的监督约束

3.4

三元组损失tripletloss

基于三元组的增大同一类别事物（如车、人、人脸）中不同对象的区分度的监督约束。

3.5

码书codebook

聚类算法中簇的质心集合

3.6

码字codeword

聚类算法中一个簇的质心

3.7

超参hyperparameter

超参数是在开始学习过程之前设置值的参数

4约定

1

T/AI127.3—2024

4.1概述

本部分中使用的数学运算符和优先级参照C语言。但对整型除法和算术移位操作进行了特定定义。

除特别说明外，约定编号和计数从0开始。

4.2算术运算符

算术运算符定义见表1。

表1算术运算符定义

算术运算符定义

+加法运算

-减法运算（二元运算符）或取反（一元前缀运算符）

乘法运算

ab幂运算，表示a的b次幂。也可表示上标

/整除运算，沿向0的取值方向截断。例如，7/4和-7/-4截断至1，-7/4和7/-4截断至-1

÷除法运算，不做截断或四舍五入

除法运算，不做截断或四舍五入

自变量i取由a到b（含b）的所有整数值时，函数的累加和

a%b模运算，a除以b的余数，其中a与b都是正整数

4.3逻辑运算符

逻辑运算符定义见表2。

表2逻辑运算符定义

逻辑运算符定义

a&&ba和b之间的与逻辑运算

a||ba和b之间的或逻辑运算

!逻辑非运算

2

T/AI127.3—2024

4.4关系运算符

关系运算符定义见表3。

表3关系运算符定义

关系运算符定义

>大于

>=大于或等于

<小于

<=小于或等于

==等于

!=不等于

4.5位运算符

位运算符定义见表4。

表4位运算符定义

位运算符定义

&与运算

|或运算

~取反运算

a>>b将a以2的补码整数表示的形式向右移b位。仅当b取正数时定义此运算

a<<b将a以2的补码整数表示的形式向左移b位。仅当b取正数时定义此运算

4.6赋值

赋值运算定义见0。

表5赋值运算定义

赋值运算定义

=赋值运算符

++递增，x++相当于x=x+1。当用于数组下标时，在自加运算前先求变量值

--递减，x--相当于x=x–1。当用于数组下标时，在自减运算前先求变量值

+=自加指定值，例如x+=3相当于x=x+3，x+=(-3)相当于x=x+(-3)

-=自减指定值，例如x-=3相当于x=x-3,，x-=(-3)相当于x=x-(-3)

3

T/AI127.3—2024

4.7位流语法、解析过程和解码过程的描述方法

4.7.1位流语法的描述方法

位流语法