GB/T 45674-2025 网络安全技术 生成式人工智能数据标注安全规范

ICS35030

CCSL.80

中华人民共和国国家标准

GB/T45674—2025

网络安全技术

生成式人工智能数据标注安全规范

Cybersecuritytechnology—Generativeartificialintelligencedataannotation

securityspecification

2025-04-25发布2025-11-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T45674—2025

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

概述

4………………………2

数据标注平台或工具安全要求

5…………3

数据标注规则安全要求

6…………………3

数据标注人员要求

7………………………4

安全培训

7.1……………4

任务分配

7.2……………4

人员管理

7.3……………4

数据标注核验要求

8………………………5

基本要求

8.1……………5

功能性标注核验安全要求

8.2…………5

安全性标注核验安全要求

8.3…………6

数据标注安全评价方法

9…………………6

数据标注平台或工具安全要求评价方法

9.1…………6

数据标注规则安全要求评价方法

9.2…………………7

数据标注人员要求评价方法

9.3………………………8

数据标注核验要求评价方法

9.4………………………10

附录资料性生成式人工智能数据标注示例

A()………12

附录资料性人工智能标注任务类型示例

B()…………14

Ⅰ

GB/T45674—2025

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由全国网络安全标准化技术委员会提出并归口

(SAC/TC260)。

本文件起草单位国家计算机网络应急技术处理协调中心中国电子技术标准化研究院北京中关

:、、

村实验室北京快手科技有限公司北京百度网讯科技有限公司北京天融信网络安全技术有限公司

、、、、

阿里云计算有限公司北京大学国家计算机网络应急技术处理协调中心江苏分中心公安部第三研究

、、、

所清华大学上海人工智能创新中心北京市公安局人工智能安全研究中心西安邮电大学浙江大学

、、、、、、

中国科学院信息工程研究所中国移动通信集团有限公司小米科技有限责任公司蚂蚁科技集团股份

、、、

有限公司华为云计算技术有限公司北京数安行科技有限公司北京晴数智慧科技有限公司北京零一

、、、、

万物科技有限公司北京奇虎科技有限公司科大讯飞股份有限公司联想北京有限公司启明星辰信

、、、()、

息技术集团股份有限公司亚信科技成都有限公司杭州萤石软件有限公司北京东方通网信科技有

、()、、

限公司广东省信息安全测评中心厦门美柚股份有限公司北京瑞莱智慧科技有限公司天翼安全科技

、、、、

有限公司北京远鉴信息技术有限公司上海商汤智能科技有限公司苏州核数聚信息科技有限公司

、、、、

南京领行科技股份有限公司江苏满运软件科技有限公司长安通信科技有限责任公司广东移

、、、OPPO

动通信有限公司

。

本文件主要起草人张震谭知行张妍婷贺敏刘勇孙旭东徐恪陈钟杜金浩郝春亮任奎

:、、、、、、、、、、、

刘楠落红卫叶晓俊安勍胡影王龑姚龙谢安明嵇程江为强丁治国雷晓锋戴娇谷晨

、、、、、、、、、、、、、、

张晴晴郭建领张勇罗磊刘玉红廖双晓蒋慧赵云张峰许晓耕王文宇陈洋张夏彭骏涛

、、、、、、、、、、、、、、

包沉浮王海棠孟凡芹赵丽丽刘俊华李家锟崔婷婷余瀚洋李峰风臧娇娇林冠辰丁欣

、、、、、、、、、、、、

王士进韩晗张向征胡嵩智徐怡悦管铭张天奕黄喆刘俊周雪郑榕刘栋罗旭鹏郑鸿咚

、、、、、、、、、、、、、、

蒋发群马梦娜田伟丽胡月黄鹏华张小敏张中维周城李根李笑如张秉晟王和俊刘洞宾

、、、、、、、、、、、、。

Ⅲ

GB/T45674—2025

引言

数据标注是生成式人工智能的关键活动直接决定了训练数据以及生成内容的质量和安全水平但

,,

由于标注规则不完善人员管理不规范核验标准不明确等原因在数据标注过程中也可能为生成式人

、、,

工智能引入新的风险隐患亟需标准规范用于提高数据标注的安全水平为加强生成式人工智能数据

,。

标注活动的安全管理采取有效措施防范和处置相关风险编制本文件旨在帮助服务提供者数据标注

,,,、

组织方以及数据需求方明确数据标注的安全基线提高服务安全水平

、。

Ⅳ

GB/T45674—2025

网络安全技术

生成式人工智能数据标注安全规范

1范围

本文件规定了生成式人工智能训练的数据标注平台或工具安全要求数据标注规则安全要求数据

、、

标注人员要求数据标注核验要求描述了数据标注安全评价方法

、,。

本文件适用于生成式人工智能数据标注组织方开展训练数据标注活动并为生成式人工智能数据

,

需求方对于数据标注进行检查验收或第三方机构对数据标注进行安全性评估提供参考

、。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

人工智能面向机器学习的数据标注规程

GB/T42755—2023

网络安全技术生成式人工智能服务安全基本要求

GB/T45654—2025

3术语和定义

下列术语和定义适用于本文件

。

31

.

提示信息prompt

引导生成式人工智能模型完成特定任务并提供合理输出内容的输入信息

。

32

.

响应信息response

在生成式人工智能数据标注中按照提示信息要求形成的符合人类认知的应答信息用于训练模型

,,

形成对提示信息输出相应内容模式或风格的响应的能力

、。

33

.

生成式人工智能数据标注generativeartificialintelligencedataannotation

通过人工操作或使用自动化技术机制基于对提示信息的响应信息内容将特定信息如标签类别

,,、

或属性添加到文本图片音频视频或者其他数据样本的过程

、、、。

注以下简称数据标注

:“”。

来源

[:GB/T45654—2025,3.5]

34

.

功能性数据标注functionaldataannotation

用于训练生成式人工智能模型具备完成特定任务能力的数据标注

。

来源

[:GB/T45654—2025,3.6]

35

.

安全性数据标注securitydataannotation

用于训练生成式人工智能模型提升输出响应信息安全性的数据标注

。

来源

[:GB/T45654—2025,3.7]

1

GB/T45674—2025

36

.

微调数据标注fine-tuningdataannotation

训练生成式人工智能模型具备完成特定任务或输出安全响应信息能力的数据标注

。

37

.

偏好数据标注preferencedataannotation

针对同一个提示信息的正反例或多个不同的响应信息标注人员根据偏好给出打分或者排序标注

,

的数据标注

。

注反例数据通过强化学习等学习范式训练模型降低输出类似反例响应的概率

:,。

38

.

数据标注规则annotationrule

生成式人工智能模型数据标注时所遵循的方法要求的统称

、。

39

.

数据标注人员annotator

承担数据标注任务的各类人员的统称

。

注包括标注执行人员标注审核人员标注仲裁人员标注监督人员等

:、、、。

310

.

标注执行人员annotationexecutor

执行标注任务产出标注内容的人员

、。

311

.

标注审核人员annotationreviewer

对初始化标注结果进行质量控制的人员

。

312

.

标注仲裁人员annotationarbitrator

当多名标注执行人员对同一标注对象的标注结果不一致或存在争议时负责给出最终标注结果的

,

人员

。

313

.

标注监督人员annotationsupervisor

对标注活动进行监督判定数据标注活动是否符合各项要求的人员

,。

314

.

数据标注组织方organizerofdataannotation

组织数据标注人员开展数据标注活动对标注质量有直接责任的人员或机构

、。

315

.

数据需求方datarequester

提出数据标注需求的人员或机构

。

来源

[:GB/T42755—2023,3.4]

4概述

本文件针对当前数据标注面临的数据被窃取数据泄漏数据投毒生成含有安全风险的内容等关

、、、

键安全问题提出安全要求防范化解数据标注过程中的安全风险数据标注安全框架图见图

,,。1。

针对生成式人工智能服务研发及优化过程中的数据标注具体包括

,:

数据标注平台或工具安全要求针对数据标注组织方所使用的标注平台或系统自动化标注工

a):、

2

GB/T45674—2025

具等提出安全要求

;

数据标注规则安全要求针对数据标注组织方制定生成式人工智能数据标注规则提出安全

b):

要求

;

数据标注人员要求针对数据标注人员在培训任务分配和管理等方面提出安全要求

c):、;

数据标注核验要求针对数据标注核验提出安全要求

d):。

图1数据标注安全框架图

5数据标注平台或工具安全要求

数据标注组织方安全使用数据标注平台或工具开展数据标注的要求如下

。

应定期对标注平台或系统进行安全评估发现潜在的安全漏洞及时进行修复并详细记录漏

a),,,

洞发现及处置情况

。

应在安全的标注平台或系统开展标注活动

b)。

应确保标注平台或系统能详细记录用户的操作和系统活动以便在发生安全事件时进行调查

c),;

应确保日志包含足够的详细信息以追踪数据的处理历史

,。

对于集中开展的数据标注工作应提供具有适当区域划定和访问控制的物理环境以防止未授

d),,

权人员进入标注区域确保标注物理环境安全对于非集中开展的数据标注工作应确保每位

,;,

标注人员所使用的标注设备安全和网络传输通道安全宜对安全性标注数据进行隔离存储

;。

如在标注过程中使用基于生成式人工智能服务的自动化标注平台或工具进行辅助标注应符

e),

合生成式人工智能服务相关法律法规要求

。

6数据标注规则安全要求

数据标注组织方制定标注规则的安全要求如下

。

标注规则应至少包括标注目标数据格式标注方法质量指标等内容生成式人工智能数据标

a)、、、,

注示例见附录

A。

数据标注组织方应分别对功能性数据标注与安全性数据标注制定具体的标注规则标注规则

b),

应至少覆盖数据标注的实施和审核等环节

。

数据标注组织方应明确具体标注任务类型对含有文本图片音频视频时间序列等不同内

c),、、、、

容的标注任务应符合中的数据需求方标注任务要求任务类型见

,GB/T42755—20235.1.1,

3

GB/T45674—2025

附录

B。

功能性标注规则应能够用于指导标注人员按照特定领域特点生成具备真实性准确性客观

d)、、

性多样性的标注数据包含正反例信息使标注人员能够依据标注规则正确执行标注任务

、,,。

功能性标注规则应包含安全风险内容的识别方法及参考示例能够使标注人员依据标注规则

e),

判定安全风险提示信息避免产生包含安全风险内容的响应信息标注

,。

安全性标注规则应能够指导标注人员围绕数据及生成内容的主要安全风险进行标注

f)。

安全性标注规则中包含涉及安全风险内容的提示信息时的响应信息标注规则说明及参考示

g)

例能够使标注人员能够依据标注规则给出规避安全风险的正向引导性响应信息标注

,。

应包含不恰当或者错误标注的识别方法及参考示例能够使标注人员能够依据标注规则及时

h),

动态更新或纠正标注内容

。

应包含对数据标注结果的质量及安全性核验方法

i)。

应包含应对和处置标注过程中安全事件的应急响应和通知机制

j)。

7数据标注人员要求

71安全培训

.

数据需求方或数据标注组织方对数据标注人员进行安全培训的要求如下

。

培训内容应至少包括数据标注规则安全要求数据标注平台或工具使用方法及安全要求数据

a)、、

标注质量及安全性核验方法标注数据安全管理典型安全风险场景及相关安全问题案例及识

、、

别方法数据标注人员安全及遵纪守法意识培训等

、。

应在培训结束后组织数据标注人员进行安全考核给予合格者标注上岗资格对考核过程进行

b),,

记录并留存记录文档考核内容应包括相关法律法规知识标注规则理解能力标注平台或工

,;、、

具使用能力安全风险判定能力数据安全管理能力等

、、