YY/T 1833.3-2022 人工智能医疗器械 质量要求和评价 第3部分：数据标注通用要求

ICS1104099

CCSC.40.

中华人民共和国医药行业标准

YY/T18333—2022

.

人工智能医疗器械质量要求和评价

第3部分数据标注通用要求

:

Artificialintelligencemedicaldevice—Qualityrequirementsandevaluation—

Part3Generalreuirementfordataannotation

:q

2022-08-17发布2023-09-01实施

国家药品监督管理局发布

YY/T18333—2022

.

目次

前言

…………………………Ⅰ

引言

…………………………Ⅱ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

标注任务说明文档

4………………………2

数据标注质量特性

5………………………3

标注与质控流程

6…………………………4

标注工具

7…………………5

评价方法

8…………………7

附录资料性标注任务描述示例

A()……………………9

附录资料性业务架构示例胸部肺结节

B()(CT)……………………19

附录资料性对辅助标注性能的评价

C()AI…………21

参考文献

……………………26

YY/T18333—2022

.

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件是人工智能医疗器械质量要求和评价的第部分已经发布

YY/T1833《》3。YY/T1833

了以下部分

:

第部分术语

———1:;

第部分数据集通用要求

———2:;

第部分数据标注通用要求

———3:。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别这些专利的责任

。。

本文件由人工智能医疗器械标准化技术归口单位归口

。

本文件起草单位中国食品药品检定研究院国家药品监督管理局医疗器械技术审评中心上海长

:、、

征医院中国人民解放军总医院中山大学中山眼科中心四川大学华西医院广东省人民医院中国医

、、、、、

学科学院皮肤病医院中国医学科学院皮肤病研究所中国科学院深圳先进技术研究院浙江大学

()、、、

广州大学深圳大学北京大学中国科学院自动化研究所中国生物医学工程学会河南省医疗器械检

、、、、、

验所腾讯医疗健康深圳有限公司上海联影智能医疗科技有限公司飞利浦中国投资有限公司

、()、、()、

上海西门子医疗器械有限公司通用电气医疗系统贸易发展上海有限公司推想医疗科技股份有限公

、()、

司北京安德医智科技有限公司

、。

本文件主要起草人李静莉彭亮刘士远何昆仑郑海荣田捷吴健周晓华林浩添步宏林彤

:、、、、、、、、、、、

万遂人梁会营刘凯孟祥峰倪东殷丽华萧毅李佳戈李澍王珊珊王晨希王晶葛鑫颜子夜

、、、、、、、、、、、、、、

钱天翼崔征秦川詹翊强王少康郝烨范丽张楠张培芳刘畅王浩

、、、、、、、、、、。

Ⅰ

YY/T18333—2022

.

引言

近年来人工智能医疗器械不断发展成为医疗器械标准化领域的一个新兴方向我国已初步建立

,,。

人工智能医疗器械标准体系在该标准体系中人工智能医疗器械质量要求和评价是

。,YY/T1833《》

基础通用标准为开展细分领域的标准化活动提供指导拟由八个部分构成

,,。

第部分术语目的在于为人工智能医疗器械的质量评价活动提供术语

———1:。。

第部分数据集通用要求目的在于提出数据集的通用质量要求与评价方法

———2:。。

第部分数据标注通用要求目的在于提出数据标注环节的质量要求与评价方法

———3:。。

第部分可追溯性目的在于对利益相关方明确人工智能医疗器械可追溯性的含义要求与

———4:。、

评价方法

。

第部分算法安全要求目的在于规范人工智能医疗器械采用的人工智能算法的安全要求

———5:。

与评价方法

。

第部分环境要求目的在于规范人工智能医疗器械的运行环境条件要求与评价方法

———6:。。

第部分隐私保护要求目的在于加强人工智能医疗器械保护受试者隐私的能力

———7:。。

第部分伦理要求目的在于从技术层面实现人工智能伦理的要求保护人的权益

———8:。,。

数据标注是基于监督学习的人工智能医疗器械在研发测试阶段常用的一种技术服务决定了参考

、,

标准的准确性和可靠性从而对数据集的质量和产品质量产生重要影响本文件作为的

,。YY/T1833

第部分对数据标注说明文档质量特性标注与质控流程标注工具和质量评价方法进行规范

3,、、、。

Ⅱ

YY/T18333—2022

.

人工智能医疗器械质量要求和评价

第3部分数据标注通用要求

:

1范围

本文件规定了人工智能医疗器械数据标注通用要求和评价方法

。

本文件适用于人工智能医疗器械数据标注活动

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

人工智能医疗器械质量要求和评价第部分术语

YY/T1833.11:

人工智能医疗器械质量要求和评价第部分数据集通用要求

YY/T1833.22:

3术语和定义

界定的以及下列术语和定义适用于本文件

YY/T1833.1、YY/T1833.2。

31

.

标注任务annotationtask

有目的地对一批数据进行分析添加外部知识的活动

、。

32

.

标注对象annotationobject

标注任务分析的具体信息如数据的类型特征属性等

,、、。

33

.

结构化标注structuredannotation

使用固定格式固定规则记录结果的标注任务

、。

34

.

非结构化标注non-structuredannotation

使用不固定的格式规则记录结果的标注任务

、。

35

.

半结构化标注semi-structuredannotation

使用固定的格式不固定的规则记录结果的标注任务

、。

36

.

手工标注manualannotation

完全由人工执行的标注任务

。

37

.

自动标注automaticannotation

完全由机器执行的标注任务标注完成后由人工审核

,。

1

YY/T18333—2022

.

38

.

半自动标注semi-automaticannotation

由人工和机器混合完成的标注任务

。

39

.

语义标注semanticannotation

以数据代表的含义和关系为标注对象的标注任务

。

310

.

标注人员annotator

具备完成特定标注任务目标并满足质量要求的能力执行标注任务对标注结果有直接贡献的

、、

人员

。

注包括初级标注人员审核人员仲裁人员等

:、、。

311

.

初级标注人员initialannotator

执行标注任务给出初步标注结果的人员

、。

312

.

审核人员annotationreviewer

对初步标注结果进行审核和质控的人员

。

313

.

仲裁人员arbitrator

当多名标注人员对同一数据的标注结果不一致时负责给出最终结果的人员

,。

注一般情况下仲裁人员的资质要求审核人员初级标注人员

:,>≥。

314

.

标注人员表现annotatorperformance

标注人员执行标注任务的能力表征

。

315

.

标注责任方annotationresponsibleorganization

组织开展标注任务对标注质量有直接责任的实体

、。

4标注任务说明文档

41标注任务分类

.

在标注任务开始前标注责任方应明确标注任务的分类包括数据模态执行主体标注结果格式

,,、、、

标注结果性质标注结果形式等维度

、。

标注任务的数据模态分为图像信号视频文本等类型标注任务依据其执行主体可分为人工标

、、、。,

注自动标注半自动标注等类型依据标注结果的格式标注任务可分为结构化标注非结构化标注

、、。,、、

半结构化标注等类型标注结果性质可分为值参考标准金标准等类型标注结果的形式分为检

。GT、、。

出分类分割语义等类型

、、、。

注语义标注常用于描述目标之间的关系或联系如超声图像上的肌肉脂肪相对位置

:,、。

42标注任务描述

.

421标注规则

..

标注责任方宜陈述标注任务依据的规则符合以下要求

,:

2

YY/T18333—2022

.

各标注对象的定义唯一无歧义

———、;

标注对象的名称具有依从性文件

———;

不同标注对象之间是可区分的

———;

标注对象的定性特征宜可验证

———;

标注对象的定量特征宜可测量

———;

提供标注规则的依从性文件如根据专家评议文献分析确定标注规则宜描述分析过程

———,、,;

如标注规则来自试验测量临床统计等渠道宜提供客观数据

———、,;

对标注规则可能导致的偏倚风险进行分析

———。

注依从性文件包括法规文件技术标准医学规范专家共识专家评议文献分析等

:、、、、、。

422标注人员

..

标注责任方应描述对标注人员的要求包括人员资质选拔依据培训内容对标注人员表现的评估

,、、、

指标如适用应按照初级标注人员审核人员仲裁人员等角色分别展开描述

;,、、。

标注责任方应描述标注与质控流程中的人员分工决策机制审核仲裁分歧处理人员比对

、(、、)、。

423标注工具

..

标注责任方应对标注过程使用的硬件软件平台等进行描述如设备的型号软件的名称型号版

、、,,、、

本号功能参数设置平台名称访问地址等如采用算法提供辅助标注应描述算法性能指标与验证

、、、、;,

方法

。

424标注环境

..

标注责任方应分析标注环境对标注人员标注过程数据质量标注工具的影响描述对标注环境的

、、、,

要求如温湿度照明条件噪声干扰等

,、、。

425数据

..

标注责任方应对标注过程输入输出的数据进行描述包括

、,:

待标注数据的适用范围质量要求和选择依据

———、;

标注对象的定义和示例如阳性样本阴性样本目标区域非目标区域主要征象次要征象

———,、、、、、、

干扰项疑难情形示例等

、;

标注结果测量结果的存储格式预览方法颗粒度精度等

———、、、、。

标注责任方应描述数据整理方案如数据清洗数据查重等

,、。

对来自实验室测量的数据标注责任方应描述测量方法测量装置测量条件及人员等

,、、。

对于来自仿真合成的数据标注责任方应描述计算过程及确认方式

,。

注附录给出了标注任务说明文档的示例

:。

A

5数据标注质量特性

51准确性

.

标注责任方应根据标注结果的形式声称标注结果的准确性

,。

如适用在具体标注场景下可使用下列指标

,,:

检出召回率精确度

———:、;

分类灵敏度特异度准确率

———:、、;

分割系数交并比距离

———:Dice、、Hausdorff;

3

YY/T18333—2022

.

测量计数绝对误差相对误差

———、:、;

动态曲线评估相关系数范数误差

———:Pearson、2-。

52一致性

.

标注责任方应声称标注过程各个环节输入输出数据信息的内部一致性包括人员信息标注结果

、,、、

原始数据

。

标注责任方应声称标注人员之间的一致性如

,:

分类任务使用系数描述人员之间的一致性

:Kappa。

53精度

.

对于可定量描述的标注结果标注责任方应声称标注结果的精度

,。

54可理解性

.

标注责任方应说明标注结果能被授权用户理解的程度并以书面形式展示可验证的证据

,。

55可访问性

.

标注责任方应陈述标注结果可被授权用户访问的程度并以书面形式展示可验证的证据

,。

56可移植性

.

标注责任方应陈述标注结果能被安装替换或从一个系统移动到另一个系统中并保持已有质量的

、,

属性的能力

。

57保密性

.

标注责任方应陈述确保标注结果安全的措施并以书面形式展示可验证的证据

,。

58可追溯性

.

标注责任方应陈述标注任务可被追溯和记录的程度如

,:

标注任务质控流程涉及的人员信息如标注任务创建者管理者标注人员审核人员仲裁人

a)、,、、、、

员等

;

标注任务包含的操作信息如初始标注比对合并补充修改删除审核仲裁等操作信息

b),、、、、、、、;

也包括标注数据的流转动作如传输复制等

,、;

标注工具信息如名称型号规格完整版本制造商运行环境软件确认等

c),、、、、、;

标注任务的时间信息如每个样本完成标注审核仲裁的时间节点

),、、。

d

6标注与质控流程

61业务架构

.

标注责任方应根据数据流向和人员分工描述标注与质控的业务架构标注责任方应根据业务架

,。

构所描述的输入输出节点保存相应的标注结果人员操作记录标注责任方应明确在哪些条件下对标

,、。

注结论进行审核仲裁当初级标注人员的结论一致时宜对标注结论进行抽样审核当初级标注人员

、。,。

的结论不一致时宜提交仲裁

,。

注附录给出了具体示例

:B。

4

Y