T/CITIF 012-2023 内容安全检测人工智能系统鲁棒性测评规范 第3部分：文本

ICS35.240.01

CCSL80

团体标准

T/CITIF012—2023

内容安全检测人工智能系统鲁棒性

测评规范第3部分：文本

Robustnessevaluationspecificationforartificial

intelligencesystemsforcontentsecuritydetection-Part

3:Text

2023-12–22发布2023-12–22实施

中国电子信息行业联合会发布

T/CITIF012—2023

目次

目次...............................................................................I

前言..............................................................................II

1范围.................................................................................1

2规范性引用文件.......................................................................1

3术语和定义...........................................................................1

4缩略语...............................................................................2

5文本内容安全检测人工智能系统测试样本分级.............................................2

6文本内容安全检测人工智能系统鲁棒性分级要求...........................................2

7文本内容安全检测人工智能系统鲁棒性性能测评方法.......................................3

7.1测试样本.........................................................................3

7.2测试流程.........................................................................3

7.3测试方法.........................................................................4

7.4综合评价方法.....................................................................5

附录A（资料性）违法信息和不良信息...............................................6

附录B（资料性）扰动方式示例.....................................................7

参考文献..............................................................................8

I

T/CITIF012—2023

前言

《内容安全检测人工智能系统鲁棒性测评规范》分为以下4个部分：

——第1部分：图像；

——第2部分：视频；

——第3部分：文本；

——第4部分：音频；

本部分为《内容安全检测人工智能系统鲁棒性测评规范》的第3部分。

本部分按照GB/T1.1—2020给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本标准由中国电子信息行业联合会提出并归口。

本标准起草单位：国家工业信息安全发展研究中心、国家语音及图像识别产品质量检验检测中心、

中移互联网有限公司、蚂蚁科技集团股份有限公司、同方知网数字出版技术股份有限公司、中科院自

动化所、北京信源电子信息技术有限公司吉安分公司、北京信源电子信息技术有限公司大同分公司、

大同市数字政府服务中心、北京瑞莱智慧科技有限公司、中国科学院信工所、罗克佳华科技集团股份

有限公司、京东科技控股股份有限公司、北京信工博特智能科技有限公司。

本标准主要起草人：朱倩倩、刘永东、李美桃、倪邦杰、王英潮、王冠麟、林冠辰、简葳玙、鲍

晟霖、黄奔辉、刘雨帆、乔思渊、苏进军、韩杰、马国斌、胡嵩智、韦云霞、马多贺、琚敬成、薛学

琴、侯韶君、刘宇光、狄帅、陈鹏、李阳。

II

T/CITIF012—2023

内容安全检测人工智能系统鲁棒性测评规范第3部分：文本

1范围

本文件规定了用于检测文本内容安全的人工智能系统鲁棒性分级要求和性能测评方法。

本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒

性开展测试评估。

注：本文件对文本内容安全检测人工智能系统附带的语料库、知识库规模不做限制要求。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适

用于本文件。

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T41867-2022界定的以及下列术语和定义适用于本文件。

3.1

内容安全检测人工智能系统artificialintelligencesystemsforcontentsecurity

detection

使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的系统。

注：违法信息和不良信息参考附录A。

3.2

鲁棒性robustness

人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示系统的

鲁棒性越好。

3.3

原始样本originalsample

通过对真实事物拍摄得到的测试数据。

3.4

原始无风险样本originalsamplewithoutrisk

不包含违法信息和不良信息的测试数据。

注：原始无风险样本如风景照、日常生活照等。

3.5

原始有风险样本originalsamplewithrisk

包含违法信息和不良信息的测试数据。

3.6

攻击样本attacksample

原始样本通过攻击方法处理后的测试数据。

3.7

原始样本检测准确率originalsampleaccuracyrate

正确检测原始样本数量占已检原始样本数量的比例。

3.8

1