T/BAX 0006.2-2023 视频图像感知智能应用适配技术要求 第2部分:算法适配
T/BAX 0006.2-2023 Video image perception intelligent application adaptation technology requirements Part 2: Algorithm adaptation
基本信息
发布历史
-
2023年11月
研制信息
- 起草单位:
- 北京市经济和信息化局、北京市公安局、视频图像信息智能分析与共享应用技术国家工程实验室、北京旷视科技有限公司、北京安信适配技术有限公司、北京市大数据中心、北京百度网讯科技有限公司、富盛科技股份有限公司、北京瑞莱智慧科技有限公司、北京密码云芯科技有限公司
- 起草人:
- 步飞、赵惠芳、梁玉晨、郭超、陈桂红、杨志宇、张伟、王建勇、崔云红、李标、杨凯、麻思、苏志伟、钟永强、张家吏、欧阳晓智、孙马秋、张飞跃、庄超明、张浩天、王俊泽
- 出版信息:
- 页数:75页 | 字数:- | 开本: -
内容描述
ICS13.310
CCSA91
BAX
团体标准
T/BAX0006.2—2023
视频图像感知智能应用适配技术要求
第2部分:算法适配
Technicalrequirementsforintelligentapplicationadaptationofvideo
andimagesensing—Part2:Algorithmadaptation
2023-11-02发布2024-01-01实施
北京安全防范行业协会 发布
T/BAX0006.2—2023
目次
前言.................................................................................III
引言..................................................................................IV
1范围.................................................................................1
2规范性引用文件.......................................................................1
3术语和定义...........................................................................1
4基本要求.............................................................................1
4.1算法形态要求.....................................................................1
4.2算法封装要求.....................................................................1
5功能要求.............................................................................3
5.1算法包...........................................................................3
5.2算法引擎.........................................................................3
6授权交付物要求.......................................................................4
6.1基本要求.........................................................................4
6.2在线鉴权模式下交付物要求.........................................................4
6.3离线鉴权模式下交付物要求.........................................................4
7接口要求.............................................................................5
7.1算法包接口.......................................................................5
7.2算法引擎接口....................................................................10
附录A(资料性)算法描述文件示例......................................................14
A.1算法技术描述信息文件algo.yaml示例.............................................14
A.2算法管理扩展信息文件managementinfo.yaml示例...................................17
附录B(资料性)算法引擎对象属性.....................................................19
B.1表中选项字符说明................................................................19
B.2基础数据结构....................................................................19
B.3算法引擎状态....................................................................20
B.4解析任务参数....................................................................20
B.5设备参数配置....................................................................21
B.6解析规则参数....................................................................23
B.7解析任务状态....................................................................24
B.8解析任务列表....................................................................25
B.9解析任务操作结果................................................................25
B.10目标结构化类-解析输出结果....................................................26
B.11事件检测类-解析输出结果......................................................26
I
T/BAX0006.2—2023
B.12态势统计类-解析输出结果......................................................27
B.13其他类-解析输出结果..........................................................28
附录C(资料性)算法引擎对象示例数据.................................................30
C.1算法引擎状态....................................................................30
C.2解析任务........................................................................30
C.3设备配置........................................................................30
C.4解析规则参数....................................................................31
C.5解析任务状态....................................................................32
C.6解析任务列表....................................................................33
C.7解析任务操作结果................................................................33
附录D(资料性)算法包接口C语言描述.................................................34
D.1函数命名规则....................................................................34
D.2数据类型定义....................................................................35
D.3数据格式定义....................................................................37
D.4函数返回值定义..................................................................38
D.5设置算法日志函数................................................................39
D.6设置算法授权信息函数............................................................39
D.7分析算法初始化函数..............................................................40
D.8创建分析通道函数................................................................40
D.9调用分析算法函数................................................................40
D.10关闭分析通道函数...............................................................41
D.11释放算法包函数.................................................................41
D.12分析结果回调函数...............................................................41
D.13获取系统信息回调函数...........................................................42
D.14获取目标ID回调函数............................................................42
D.15单帧同步分析函数...............................................................42
D.16设置分析回调接口函数...........................................................43
附录E(资料性)算法输入输出参数JSONSchema示例....................................44
E.1算法输入参数-JSONSchema示例..................................................44
E.2目标结构化类算法自定义输出参数CaptureObject-JSONSchema示例..................60
E.3事件检测类算法自定义输出参数AlarmEvent-JSONSchema示例.......................63
E.4态势统计类算法自定义输出参数StatusInfo-JSONSchema示例.......................67
E.5其他类算法自定义输出参数UncategorizedInfo-JSONSchema示例....................68
II
T/BAX0006.2—2023
前言
本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
本文件是T/BAX0006《视频图像感知智能应用适配技术要求》的第2部分。T/BAX0006已经发布了
以下部分:
——第1部分:总体要求;
——第2部分:算法适配;
——第3部分:感知前端和边缘解析设备适配;
——第4部分:中心解析设施适配;
——第5部分:算法算力服务管理平台。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由北京安全防范行业协会提出并归口。
本文件起草单位:北京市经济和信息化局、北京市公安局、视频图像信息智能分析与共享应用技术
国家工程实验室、北京旷视科技有限公司、北京安信适配技术有限公司、北京市大数据中心、北京百度
网讯科技有限公司、富盛科技股份有限公司、北京瑞莱智慧科技有限公司、北京密码云芯科技有限公司。
本文件主要起草人:步飞、赵惠芳、梁玉晨、郭超、陈桂红、杨志宇、张伟、王建勇、崔云红、李
标、杨凯、麻思、苏志伟、钟永强、张家吏、欧阳晓智、孙马秋、张飞跃、庄超明、张浩天、王俊泽。
III
T/BAX0006.2—2023
引言
视频图像感知智能应用是国家数字化进程和智慧城市建设中的重要内容,在公共安全管理、社会治
理、社区管理等应用场景中发挥关键作用。
视频感知体系智能化应用适配中心围绕提升智能应用、安全可信、自主可控的核心目标开展适配工
作,制定智能提升技术要求、安全可信技术要求、自主可控技术要求三大类标准,指导企业研制产品和
适配应用推广。智能应用提升技术要求围绕“软硬解耦、算法动态加载、算力智能调度”的需求展开。
T/BAX0006《视频图像感知智能应用适配技术要求》通过建立统一的适配技术规范,指导视频图像
解析算法与设备及平台的适配,解决算法与设备及平台的紧耦合问题,随业务需求变化实现算法快速更
新迭代和部署应用及云边端算力动态调度。
T/BAX0006由五部分构成。
——第1部分:总体要求。目的在于确定视频图像感知智能应用适配的总体结构、总体要求和适配
要求。
——第2部分:算法适配。目的在于规范视频图像感知智能应用适配的算法适配基本要求、功能要
求、授权交付物要求和接口要求。
——第3部分:感知前端和边缘解析设备适配。目的在于规范视频图像感知智能应用适配的视频图
像智能感知前端和智能边缘解析设备适配的基本要求、功能要求、接口要求等。
——第4部分:中心解析设施适配。目的在于规范视频图像感知智能应用适配的中心解析设施适配
的功能组成,中心解析设备、中心计算平台、中心解析平台等的功能要求和接口要求,以及输
入与输出和接口安全要求等。
——第5部分:算法算力服务管理平台。目的在于规范视频图像感知智能应用适配的算法算力服务
管理平台的功能组成、算法接入、算法管理、算力接入、算力管理、视图接入管理要求等技术
要求。
IV
T/BAX0006.2—2023
视频图像感知智能应用适配技术要求
第2部分:算法适配
1范围
本文件规定了视频图像感知智能应用适配中的算法适配基本要求、功能要求、授权交付物要求和接
口要求。
本文件适用于视频图像感知智能应用适配中算法适配的规划设计、软件研发、检测和验收。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,
仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
文件。
GB/T28181—2022公共安全视频监控联网系统信息传输、交换、控制技术要求
GA/T1399.1—2017公安视频图像分析系统第1部分:通用技术要求
GA/T1400.1—2017公安视频图像信息应用系统第1部分:通用技术要求
GA/T1400.4—2017公安视频图像信息应用系统第4部分:接口协议要求
T/CSPIPA005—2021公共安全视频图像分析多算法应用技术要求
T/BAX0006.1—2023视频图像感知智能应用适配技术要求第1部分:总体要求
T/BAX0006.5—2023视频图像感知智能应用适配技术要求第5部分:算法算力服务管理平台
3术语和定义
GA/T1399.1—2017、GA/T1400.1—2017、T/BAX0006.1—2023界定的术语和定义适用于本文件。
4基本要求
4.1算法形态要求
视频图像智能解析算法应支持以算法包或算法引擎的形态部署运行,在感知前端和边缘解析设备上
应支持以算法包的形态部署运行,宜支持以算法引擎的形态部署运行。在中心解析设备、中心计算平台、
中心解析平台上应支持以算法引擎和算法包的形态部署运行。
4.2算法封装要求
4.2.1算法封装文件名称要求
算法封装文件的名称应符合以下规则:算法封装文件名称=算法封装文件标识编码(40位)+下
划线+版本号+文件扩展名(.tar)。算法封装文件标识的编码规则应符合T/BAX0006.1—2023中
5.5.2的规定。
1
T/BAX0006.2—2023
4.2.2算法封装文件目录结构要求
算法封装文件应包含算法技术描述信息文件、算法管理扩展信息文件、媒体文件、算法自定义参数
描述文件、算法包或算法引擎文件、配置文件、算法模型、视频图像数据等。目录结构应符合表1的规
定。
表1算法封装文件目录结构
序号目录必选/可选二级目录/文件必选/可选分类说明
包含算法名称、版本、运行设备、运行参数等,
算法技术描述
algo.yamlR参见附录A.1算法技术描述信息文件示例。此文
信息文件
件应作为算法运行的配置文件下发
算法的语义化描述,包含算法功能介绍、分类、
算法管理扩展适用场景、算法封面等,主要用于算法信息的门
managementinfo.yamlR
信息文件户展示,参见附录A.2算法管理扩展信息文件示
例
1specR存放各类媒体文件,包括算法展示图片、算法
封面图片、算法分析结果示例图片、算法演示
视频等。在算法管理扩展信息文件中,会有字
O媒体文件
段指向此目录中的具体图片和视频文件。媒体
assets
文件主要用于算法算力服务平台的展示,不宜
被下发
算法自定义参
O算法自定义参数描述文件
数描述
算法包文件,包括服务器和边端设备的C函数头
文件及相关二进制链接库文件等;
算法包或算法
R算法引擎文件,包括服务器docker容器镜像文
2binR自定义引擎文件
件,边端设备嵌入式容器镜像文件,边端设备可
执行文件等
O配置文件算法包或算法引擎的配置文件
存放算法运行时需要挂载的算法模型。如果算
法模型已经包含在算法包或者算法引擎镜像
3dataO自定义O算法模型文件中,此文件夹内容为空。在算法包形态下,
算法模型宜单独存在。在算法引擎形态下,算
法模型宜包含在镜像文件内
存放算法运行时需要挂载相关视频图像数据,
4extraO自定义O视频图像数据用于算法效果的测试校验或增量训练等。此目
录下的文件,不宜被下发
2
T/BAX0006.2—2023
4.2.3算法描述文件要求
算法描述文件应至少包含以下两类文件:
a)算法技术描述信息文件,其中应包含算法名称、版本、运行设备、运行参数等信息;
b)算法管理扩展信息文件,其中应包含厂商管理信息(厂商名称、编码、联系方式、售后服务
地址等)和算法管理信息(功能介绍、分类、适用场景、算法封面等)。
5功能要求
5.1算法包
5.1.1算法配置
算法配置满足以下要求:
a)应支持配置算法包的日志回调函数,算法包通过日志回调函数输出日志信息;
b)应支持配置算法包的初始化信息,包括算法包路径、处理结果回调函数、初始化参数、运行
环境信息等;
c)宜支持设置定制回调,用于为算法包的特定分析通道单独设置定制的分析结果回调函数。
5.1.2算法分析
算法分析满足以下要求:
a)应支持分析通道的创建和关闭;
b)应支持单帧同步分析和异步分析;
c)分析过程中,应支持通过获取目标ID回调函数生成目标ID;
d)异步分析时,应支持通过分析结果回调函数返回分析结果。
5.1.3算法授权
算法授权满足以下要求:
a)在线授权模式下,应支持通过与指定的授权管理服务器通信申请授权或释放授权,申请授权
异常时,算法包应支持反馈授权异常信息;
b)离线授权模式下,应支持通过验证离线授权文件实现授权,并支持查询算法包的授权信息。
5.2算法引擎
5.2.1算法配置
应支持通过环境变量方式配置算法引擎的相关参数,包括:日志参数、鉴权地址参数、算法自定义
参数等。
5.2.2算法分析
算法分析满足以下要求:
a)应支持解析任务的创建、删除、详情查看、列表查看等;
b)应支持通过符合GB/T28181规定的信令与公共安全视频监控联网系统进行交互,获取视频流
进行分析处理;
3
T/BAX0006.2—2023
c)应支持通过符合GA/T1400.4—2017规定的信令与公共安全视频图像信息数据库进行交互,
获取图片进行分析处理。
5.2.3运行监测
运行监测满足以下要求:
a)应支持对算法引擎的运行状态进行监测;
b)应支持对算法引擎的运行中的解析任务的状态进行监测;
c)宜支持对算法引擎的系统资源占用情况进行监测。
5.2.4算法鉴权
算法鉴权满足以下要求:
a)在线鉴权模式下,应支持通过与指定的鉴权管理服务器通信申请授权或释放授权;申请授权
异常时,应支持反馈授权异常信息;
b)离线鉴权模式下,应支持通过验证离线授权文件实现授权,并支持查询授权信息。
6授权交付物要求
6.1基本要求
算法包或算法引擎的算法鉴权应满足以下要求:
a)应支持在线鉴权或离线鉴权中的至少一种,宜采用在线鉴权模式;
b)在线鉴权接口应符合T/BAX0006.5—2023中附录D的规定;
c)离线鉴权接口应符合T/BAX0006.5—2023中附录E的规定。
6.2在线鉴权模式下交付物要求
在线鉴权模式下,算法厂商的交付物应符合表2的规定。
表2在线鉴权模式下交付物要求
交付物名称交付物形态交付物功能
部署在算法算力管理平台或中提供基于网络授权验证能力,通过与算法服务保持心跳通信,
算法授权验证服务
心算力的服务为相关服务提供运行许可。
运行在授权验证服务所在机器
算法授权验证服务-中用于收集授权验证服务所在机器的环境信息,生成环境文件,
的脚本
心环境信息生成工具用于手动或者自动向算法厂商申请相关授权许可更新文件。
gen_cloud_env.sh
运行在授权验证服务所在机器用于将算法公司提供的授权许可更新文件,导入中心算法授权
算法授权验证服务-中
的脚本验证服务,更新其授权许可信息,从而为该系统中的所有边端
心文件导入工具
load_cloud_license.sh设备提供网络授权验证能力。
6.3离线鉴权模式下交付物要求
离线鉴权方案的情况下,算法厂商的交付物应符合表3的规定。
4
T/BAX0006.2—2023
表3离线鉴权模式下交付物要求
交付物名称交付物形态交付物功能
用于收集边缘解析设备的指纹,并生成
运行在感知前端或边缘解析设备的脚本指纹文件。后续,可以基于此指纹文件,
设备指纹生成工具
gen_device_fingerprint.sh向算法厂商的授权签发服务发出请求,
生成授权文件
用于将离线授权文件导入设备,从而为
运行在感知前端或边缘解析设备的脚本
设备离线授权文件导入工具该设备上的算法服务运行提供本地授权
load_device_license.sh
验证能力。
7接口要求
7.1算法包接口
7.1.1接口调用
接口调用流程
算法包接口的调用流程应符合图1的规定,主要包括配置算法包、初始化算法包,创建算法分析通
道、返回或回调分析结果、关闭算法分析通道、释放算法包等。
5
图1算法包接口调用流程
T/BAX0006.2—2023
调用算法包接口分析视频流要求
算法包接口调用方调用算法包接口分析视频流,视频流宜使用一个分析通道进行分析,应将视频流
解码后的图像帧作为算法包分析接口的参数传入。
调用算法包接口分析图片流要求
算法包接口调用方调用算法包分析图片流,图片流可使用一个分析通道串行分析,或使用多个分析
通道并行分析。
7.1.2配置接口
授权信息配置函数
在调用算法包进行分析之前,先调用授权信息配置函数传入授权管理服务器的访问地址,由算法包
自行与授权管理服务器进行通信完成授权申请。调用参数应符合表4的规定,函数返回值定义见D.4。
表4授权信息配置函数
参数参数类型说明
授权信息所在的服务器访问地址(服务
授权信息输入
器的IP和端口或服务器域名)
信息长度输入授权信息长度
日志配置函数
在调用算法包进行分析之前,先调用日志配置函数设置算法包的日志级别和日志记录回调函数,通
过调用该函数打印日志信息。调用参数应符合表5的规定,函数返回值定义见D.4。
表5日志配置函数
参数参数类型说明
表示只输出高于该日志级别的日志,数
日志级别输入
值越小级别越高
定义算法包的日志记录回调函数,算法
日志记录回调函数输入
包调用该函数记录日志
7.1.3算法解析接口
初始化算法包函数
算法包初始化函数传入算法包的配置信息XML文件、设置回调函数、设置算法包路径等,初始化运
行环境。在调用算法包进行目标分析之前,先调用设置分析算法包初始化函数,调用参数应符合表6的
规定,函数返回值定义见附录D.4。
6
T/BAX0006.2—2023
表6初始化算法包函数参数列表
参数参数类型说明
配置文件输入算法包初始化需要用到的XML
设置算法包分析结果回调函数,获取
内容说明输入当前算法包目录,获取目标ID回调函
数,GPU、NPU等各类加速卡卡号等
创建分析通道函数
创建分析通道函数用于传入创建分析通道的XML配置。在调用算法包进行目标分析之前,先调用创
建分析通道函数,调用参数应符合表7的规定,函数返回分析通道编号(大于等于0)。
表7创建分析通道函数参数列表
参数参数类型说明
通道配置信息输入创建分析通道的XML
调用分析算法函数
调用分析算法函数用于将视频流/图片流解码后的图像信息发送给算法包并进行分析。调用分析算
法函数的调用参数应符合表8的规定,函数返回值定义见D.4。
表8调用分析算法函数参数列表
参数参数类型说明
通道号输入分析通道创建时的通道号
包括视频帧率、帧号、图片格式、尺寸、
图像信息输入
时间戳、地址类型等
系统私有数据,算法内部无需处理,回
私有数据输入
调分析结果数据时,透传给上层应用
关闭分析通道函数
对不再使用的分析通道进行关闭,关闭分析通道函数的调用参数应符合表9的规定,函数返回值定
义见D.4。
表9关闭分析通道函数参数列表
参数参数类型说明
通道号输入分析通道创建时的通道号
释放算法包函数
对不再使用的算法包进行释放,释放算法包函数无参数调用,无返回值。释放算法包函数见附录D.11。
7
T/BAX0006.2—2023
分析结果回调函数
分析结果回调函数用于算法包分析完成之后,将
定制服务
推荐标准
- DB41/T 512.3-2007 核桃生产技术规程 第3部分: 土肥水管理技术规程 2007-12-12
- DB51/T 722-2007 炒青绿茶加工技术规程 2007-11-01
- DB51/T 705-2007 四川主要造林树种苗木质量分级 2007-11-01
- DB51/T 698-2007 生物标本柜 2007-11-01
- DB41/T 512.5-2007 核桃生产技术规程 第5部分: 嫁接技术规程 2007-12-12
- DB51/T 721-2007 烘青茶加工技术规程 2007-11-01
- DB51/T 701-2007 演示实验台 2007-11-01
- DB51/T 724-2007 水稻细菌性条斑病检验鉴定技术规范 2007-11-01
- DB51/T 697-2007 生物实验台(卓) 2007-11-01
- DB41/T 512.2-2007 核桃生产技术规程 第2部分: 建园技术规程 2007-12-12