YY/T 1990-2025 人工智能医疗器械 细胞病理图像辅助分析软件 算法性能测试方法
YY/T 1990-2025 Artificial intelligence medical device—Computer assisted analysis software for cytopathologic images—Algorithm performance test methods
基本信息
本文件适用于采用人工智能技术对细胞病理图像进行后处理的辅助分析软件。
本文件不适用于细胞病理图像采集、前处理及过程优化类软件。
发布历史
-
2025年10月
研制信息
- 起草单位:
- 中国科学院深圳先进技术研究院、山东省肿瘤医院、中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评检查大湾区分中心、华中科技大学同济医学院附属协和医院、海军军医大学第一附属医院(上海长海医院)、哈尔滨血液病肿瘤研究所、深圳高性能医疗器械国家研究院有限公司、深圳见康智能科技有限公司、玖壹叁陆零医学科技南京有限公司、上海杏脉信息科技有限公司、上海联影智能医疗科技有限公司、北京透彻未来科技有限公司、北京市医疗器械检验研究院(北京市医用生物防护装备检验研究中心)、上海市医疗器械检验研究院、北京京津冀国家技术创新中心、西安交通大学
- 起草人:
- 秦文健、汝昆、刘东戈、赵苗青、李静莉、聂秀、何妙侠、刘宇、魏万旭、蔺亚妮、王辉、王浩、赫家烨、孟祥峰、狄峰、何川、詹翊强、王美英、王瑞霞、刘重生、罗琳、李辰
- 出版信息:
- 页数:24页 | 字数:29 千字 | 开本: 大16开
内容描述
ICS11.040.99
CCSC30
中华人民共和国医药行业标准
YY/T1990—2025
人工智能医疗器械细胞病理图像辅助
分析软件算法性能测试方法
Artificialintelligencemedicaldevice—Computerassistedanalysissoftwarefor
cytopathologicimages—Algorithmperformancetestmethods
2025‑10‑30发布2026‑11‑01实施
国家药品监督管理局发布
YY/T1990—2025
目次
前言……………………………Ⅲ
引言……………………………Ⅳ
1范围…………………………1
2规范性引用文件……………1
3术语和定义…………………1
4算法性能测试要求…………………………1
5算法性能测试方法…………………………4
附录A(资料性)测试数据采集和标注示例………………11
参考文献………………………14
Ⅰ
YY/T1990—2025
前言
本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由国家药品监督管理局提出。
本文件由人工智能医疗器械标准化技术归口单位归口。
本文件起草单位:中国科学院深圳先进技术研究院、山东省肿瘤医院、中国食品药品检定研究院、国
家药品监督管理局医疗器械技术审评检查大湾区分中心、华中科技大学同济医学院附属协和医院、海军
军医大学第一附属医院(上海长海医院)、哈尔滨血液病肿瘤研究所、深圳高性能医疗器械国家研究院有
限公司、深圳见康智能科技有限公司、玖壹叁陆零医学科技南京有限公司、上海杏脉信息科技有限公司、
上海联影智能医疗科技有限公司、北京透彻未来科技有限公司、北京市医疗器械检验研究院(北京市医用生
物防护装备检验研究中心)、上海市医疗器械检验研究院、北京京津冀国家技术创新中心、西安交通大学。
本文件主要起草人:秦文健、汝昆、刘东戈、赵苗青、李静莉、聂秀、何妙侠、刘宇、魏万旭、蔺亚妮、王辉、
王浩、赫家烨、孟祥峰、狄峰、何川、詹翊强、王美英、王瑞霞、刘重生、罗琳、李辰。
Ⅲ
YY/T1990—2025
引言
本文件作为方法标准,主要用于人工智能细胞病理辅助分析软件的算法性能测试,面向细胞病理图
像分割、细胞类型识别等场景。由于本领域的应用范围和技术尚在不断发展中,充分考虑适用性和风险
后提出的新的质量要求和评价方法不受本文件的限制。
Ⅳ
YY/T1990—2025
人工智能医疗器械细胞病理图像辅助
分析软件算法性能测试方法
1范围
本文件描述了采用人工智能技术的细胞病理图像辅助分析软件的算法性能测试方法。
本文件适用于采用人工智能技术对细胞病理图像进行后处理的辅助分析软件。
本文件不适用于细胞病理图像采集、前处理及过程优化类软件。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文
件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
文件。
YY/T1833.1人工智能医疗器械质量要求和评价第1部分:术语
YY/T1833.2—2022人工智能医疗器械质量要求和评价第2部分:数据集通用要求
YY/T1833.3人工智能医疗器械质量要求和评价第3部分:数据标注通用要求
YY/T1858—2022人工智能医疗器械肺部影像辅助分析软件算法性能测试方法
3术语和定义
YY/T1833.1、YY/T1833.2—2022、YY/T1833.3、YY/T1858—2022界定的以及下列术语和定
义适用于本文件。
3.1
数字病理图像digitalpathologyimage
通过数字传感技术与光学放大装置结合,在全自动显微镜或光学放大系统扫描采集得到的高分辨率
的数字化图像,并能在计算机显示器上观察所扫描的病理玻片图像。
3.2
压力样本stresssample
在某算法模型的标定范围内,特征容量极大或者极小的样本,以确定算法模型的泛化性能、可靠性、
稳定性。
注:压力样本示例,如复杂细胞病变、异质性病变、稀有数据或引入细胞病理玻片不包含的噪声等病理图像。
[来源:YY/T1858—2022,3.8,有修改]
4算法性能测试要求
4.1通则
算法性能测试过程按YY/T1858—2022中4.1的要求,建立测试文档,给出明确规范的测试计划;如
测试过程需要复测,应限定复测次数的上限(如不超过算法细胞分类数量),以避免算法对参考标准进行
1
YY/T1990—2025
推测或针对性调优。
4.2测试环境
算法性能的测试环境按YY/T1858—2022中4.2的要求。
4.3测试资源
4.3.1测试前数据准备
测试集的质量按YY/T1833.2—2022的要求;测试集应独立于算法训练和调优过程,保证封闭性和
安全性;制造商可根据产品预期用途和临床应用场景,对测试数据进行限定。
在开始算法性能测试前,测试人员应先进行测试前数据准备。测试前数据准备流程见图1。
K
FK"A
-"AF
"A
0>!K"A
+
+
K
"A
-"A
图1测试前数据准备流程图
4.3.2测试数据采集
4.3.2.1图像数据采集
鉴于扫描设备、扫描参数、细胞病理玻片制作等因素对细胞病理图像的数字采集过程产生影响,制造
商应对采集设备、采集过程、人员培训等条件提出要求并建立图像数据采集操作规范。
注1:附录A中的A.1给出了图像数据采集的示例。
注2:细胞病理玻片扫描视野的选择由临床使用阶段细胞病理诊断的实际场景决定。
4.3.2.2文本数据采集
为确保测试数据的完整性,宜采集和病理图像数据形成唯一映射的患者非敏感临床数据(如细胞病
理玻片编号、年龄、诊断结论等)。
注:A.2给出了文本数据采集的示例。
4.3.2.3数据去标识化和数据合规性
测试数据按YY/T1833.2—2022中4.1.2.1和4.1.2.2的要求,提供数据来源的合规性陈述,并保
证数据去标识化、患者隐私安全和患者利益。
注:A.3给出了数据去标识化的方法示例。
4.3.2.4测试数据样本量
算法性能测试过程对样本量的最低要求按照YY/T1858—2022中4.3.2的要求进行计算。
注:测试样本量以患者为计算单元。
2
YY/T1990—2025
4.3.2.5测试数据多样性
应保证测试数据具有充分的临床代表性,控制数据前瞻性采集和回顾性收集过程导致的偏倚,数据
应覆盖具有通用性的统计维度以验证算法模型效果的普适性,包括:
a)患者维度,考虑个体差异和地域差异的影响;
b)疾病构成维度,包括但不限于分型、分级、分期;
c)场景维度,考虑不同的应用场景,如体检、筛查、门诊、手术和病理医学实验室等;
d)细胞病理玻片制作维度,考虑不同染色试剂、染色方法、制片设备及制片方法;
e)设备与配置维度,包括但不限于不同品牌、型号、不同分辨率及不同成像类型的病理成像
设备。
4.3.3测试数据标注
本文件涉及的测试数据在标注时按YY/T1833.3的要求。数据集制造责任方应提供标注规则的来源,
如世界卫生组织(WHO)、国内外公开发表的各类疾病的专家共识或诊断标准,确保标注标签准确、完整。
注:A.4给出了测试数据标注的示例。
4.3.4扩增数据
算法性能测试过程中,如有必要产生扩增数据,按YY/T1858—2022中4.3.4的要求执行,并且经人
工确认后对扩增数据进行交付使用。
4.4测试平台
如使用测试平台进行算法测试,测试平台按YY/T1858—2022中4.4的要求。
4.5测试指标与通过原则
测试人员应根据产品的预期用途、使用场景和算法需求,以及产品的技术特性和风险分析,明确制定
客观和可定量的测试指标。制造商应给出产品相对应各指标的标称值及允差或上下限。
对于产品应用场景测试指标,测试人员应根据产品预期用途和使用场景,确定适用的测试指标:
——
若预期用途包含细胞分割和细胞分类两个方面的任务,则应用场景测试应选择适用于细胞病理
图像分割和细胞类型识别两个方面的指标;
——若预期用途仅为细胞分类,则应用场景测试指标应选择适用于评价细胞类型识别的指标。
对于产品算法质量特性指标,测试人员应根据产品的技术特性和风险分析,确定适用的整体评估指
标,作为算法质量特性的判定依据。
算法性能测试通过准则,应包括产品应用场景测试指标和算法质量特性指标。
4.6测试流程
测试人员按照YY/T1858—2022中4.6的要求,根据测试文档开展测试活动,并形成完整的测试
记录。
4.7测试结果
测试人员按照YY/T1858—2022中4.7的要求,形成测试结果的描述文档。
3
YY/T1990—2025
5.1.1.3.3平均交并比
5算法性能测试方法
表达式见公式(3):
5.1算法应用场景的测试方法1kTP
mIOU=∑i……………(3)
kTP+FP+FN
5.1.1细胞病理图像分割场景i=1iii
式中:
5.1.1.1概述k——像素类别;
TP——真阳性像素数量;
细胞病理图像分割包括区域分割和细胞结构分割两个维度。区域分割是通过人工智能技术训练获FP——假阳性像素数量;
取识别细胞病理图像中正常细胞和疑似病变细胞区域或不同形态的细胞区域,具有自动区域分割的产品FN——假阴性像素数量。
输出的是感兴趣细胞区域分割图(segmentationofregionofinteresttissue,SROI),SROI可用于可疑病变
细胞的定位、特定细胞形态和数量占比测量计算和细胞病变程度分析。细胞结构分割(segmentationof5.1.1.4客观差异性评价指标
cellularstructure,Seg)是指细胞核、细胞膜和细胞质等结构的分割,细胞结构分割结果通常用于细胞数
5.1.1.4.1豪斯多夫距离
量、轮廓大小和形态分布等量化指标计算。
客观差异性评价指标采用豪斯多夫距离(Hausdorffdistance,HD)、平均对称表面距离(averagesym⁃‑
5.1.1.2测试步骤
metrysurfacedistance,ASSD),都是基于表面距离的评估指标,用于度量算法预测结果和参考标准分割
细胞病理图像分割场景测试的参考标准应满足4.3.2和4.3.3的所有内容后输出的分割标签,测试的最大差异。
人员在测试计划中应说明算法结果和参考标准结果的匹配方式和匹配阈值,匹配方式和匹配阈值的界定HD反映算法预测区域与参考标准区域之间的最大不匹配程度,表达式见公式(4):
应由产品制造商声称并提供。HD(,)=max{,}=max{maxmin(,),maxmin(,)}………(4)
XYdXYdYXdxydxy
在细胞病理图像分割场景下,算法性能测试按如下步骤进行:x∈Xy∈Yy∈Yx∈X
a)向待测算法输入测试集,输出算法结果,算法结果的格式宜与参考标准兼容;式中:
HD(,)——
b)算法分割的目标与参考标准分割的目标性能指标,按5.1.1.3和5.1.1.4描述的公式进行评价
定制服务
推荐标准
- GB/T 16588-1996 工业用多楔带及带轮尺寸(PH、PJ、PK、PL和PM型) 1996-10-28
- GB/T 16584-1996 橡胶 用无转子硫化仪测定硫化特性 1996-10-28
- GB/T 16590.1-1996 消防用不可折叠型橡胶和塑料软管 第1部分:定位应急设施用轴卷半硬性软管 1996-10-28
- GB/T 16592-1996 粉末涂料 烘烤时质量损失的测定 1996-10-28
- GB/T 16591-1996 输送无水氨用橡胶软管及软管组合件 1996-10-28
- GB/T 16593-1996 旋转轴唇形密封圈术语 1996-10-28
- GB/T 16587-1996 农药有效成分的气相色谱快速分析方法 第1部分:十二种农药 1996-10-28
- GB/T 16583-1996 不饱和橡胶中饱和橡胶的鉴定 第一部分 酸消化法 1996-10-28
- GB/T 16585-1996 硫化橡胶人工气候老化(荧光紫外灯)试验方法 1996-10-28
- GB/T 16586-1996 硫化橡胶与钢丝帘线粘合强度的测定 1996-10-28