YY/T 1990-2025 人工智能医疗器械 细胞病理图像辅助分析软件 算法性能测试方法

YY/T 1990-2025 Artificial intelligence medical device—Computer assisted analysis software for cytopathologic images—Algorithm performance test methods

行业标准-医药 中文简体 即将实施 页数:24页 | 格式:PDF

基本信息

标准号
YY/T 1990-2025
标准类型
行业标准-医药
标准状态
即将实施
中国标准分类号(CCS)
国际标准分类号(ICS)
发布日期
2025-10-30
实施日期
2026-11-01
发布单位/组织
国家药品监督管理局
归口单位
人工智能医疗器械标准化技术归口单位
适用范围
本文件描述了采用人工智能技术的细胞病理图像辅助分析软件的算法性能测试方法。
本文件适用于采用人工智能技术对细胞病理图像进行后处理的辅助分析软件。
本文件不适用于细胞病理图像采集、前处理及过程优化类软件。

发布历史

研制信息

起草单位:
中国科学院深圳先进技术研究院、山东省肿瘤医院、中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评检查大湾区分中心、华中科技大学同济医学院附属协和医院、海军军医大学第一附属医院(上海长海医院)、哈尔滨血液病肿瘤研究所、深圳高性能医疗器械国家研究院有限公司、深圳见康智能科技有限公司、玖壹叁陆零医学科技南京有限公司、上海杏脉信息科技有限公司、上海联影智能医疗科技有限公司、北京透彻未来科技有限公司、北京市医疗器械检验研究院(北京市医用生物防护装备检验研究中心)、上海市医疗器械检验研究院、北京京津冀国家技术创新中心、西安交通大学
起草人:
秦文健、汝昆、刘东戈、赵苗青、李静莉、聂秀、何妙侠、刘宇、魏万旭、蔺亚妮、王辉、王浩、赫家烨、孟祥峰、狄峰、何川、詹翊强、王美英、王瑞霞、刘重生、罗琳、李辰
出版信息:
页数:24页 | 字数:29 千字 | 开本: 大16开

内容描述

ICS11.040.99

CCSC30

中华人民共和国医药行业标准

YY/T1990—2025

人工智能医疗器械细胞病理图像辅助

分析软件算法性能测试方法

Artificialintelligencemedicaldevice—Computerassistedanalysissoftwarefor

cytopathologicimages—Algorithmperformancetestmethods

2025‑10‑30发布2026‑11‑01实施

国家药品监督管理局发布

YY/T1990—2025

目次

前言……………………………Ⅲ

引言……………………………Ⅳ

1范围…………………………1

2规范性引用文件……………1

3术语和定义…………………1

4算法性能测试要求…………………………1

5算法性能测试方法…………………………4

附录A(资料性)测试数据采集和标注示例………………11

参考文献………………………14

YY/T1990—2025

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由国家药品监督管理局提出。

本文件由人工智能医疗器械标准化技术归口单位归口。

本文件起草单位:中国科学院深圳先进技术研究院、山东省肿瘤医院、中国食品药品检定研究院、国

家药品监督管理局医疗器械技术审评检查大湾区分中心、华中科技大学同济医学院附属协和医院、海军

军医大学第一附属医院(上海长海医院)、哈尔滨血液病肿瘤研究所、深圳高性能医疗器械国家研究院有

限公司、深圳见康智能科技有限公司、玖壹叁陆零医学科技南京有限公司、上海杏脉信息科技有限公司、

上海联影智能医疗科技有限公司、北京透彻未来科技有限公司、北京市医疗器械检验研究院(北京市医用生

物防护装备检验研究中心)、上海市医疗器械检验研究院、北京京津冀国家技术创新中心、西安交通大学。

本文件主要起草人:秦文健、汝昆、刘东戈、赵苗青、李静莉、聂秀、何妙侠、刘宇、魏万旭、蔺亚妮、王辉、

王浩、赫家烨、孟祥峰、狄峰、何川、詹翊强、王美英、王瑞霞、刘重生、罗琳、李辰。

YY/T1990—2025

引言

本文件作为方法标准,主要用于人工智能细胞病理辅助分析软件的算法性能测试,面向细胞病理图

像分割、细胞类型识别等场景。由于本领域的应用范围和技术尚在不断发展中,充分考虑适用性和风险

后提出的新的质量要求和评价方法不受本文件的限制。

YY/T1990—2025

人工智能医疗器械细胞病理图像辅助

分析软件算法性能测试方法

1范围

本文件描述了采用人工智能技术的细胞病理图像辅助分析软件的算法性能测试方法。

本文件适用于采用人工智能技术对细胞病理图像进行后处理的辅助分析软件。

本文件不适用于细胞病理图像采集、前处理及过程优化类软件。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文

件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

YY/T1833.1人工智能医疗器械质量要求和评价第1部分:术语

YY/T1833.2—2022人工智能医疗器械质量要求和评价第2部分:数据集通用要求

YY/T1833.3人工智能医疗器械质量要求和评价第3部分:数据标注通用要求

YY/T1858—2022人工智能医疗器械肺部影像辅助分析软件算法性能测试方法

3术语和定义

YY/T1833.1、YY/T1833.2—2022、YY/T1833.3、YY/T1858—2022界定的以及下列术语和定

义适用于本文件。

3.1

数字病理图像digitalpathologyimage

通过数字传感技术与光学放大装置结合,在全自动显微镜或光学放大系统扫描采集得到的高分辨率

的数字化图像,并能在计算机显示器上观察所扫描的病理玻片图像。

3.2

压力样本stresssample

在某算法模型的标定范围内,特征容量极大或者极小的样本,以确定算法模型的泛化性能、可靠性、

稳定性。

注:压力样本示例,如复杂细胞病变、异质性病变、稀有数据或引入细胞病理玻片不包含的噪声等病理图像。

[来源:YY/T1858—2022,3.8,有修改]

4算法性能测试要求

4.1通则

算法性能测试过程按YY/T1858—2022中4.1的要求,建立测试文档,给出明确规范的测试计划;如

测试过程需要复测,应限定复测次数的上限(如不超过算法细胞分类数量),以避免算法对参考标准进行

1

YY/T1990—2025

推测或针对性调优。

4.2测试环境

算法性能的测试环境按YY/T1858—2022中4.2的要求。

4.3测试资源

4.3.1测试前数据准备

测试集的质量按YY/T1833.2—2022的要求;测试集应独立于算法训练和调优过程,保证封闭性和

安全性;制造商可根据产品预期用途和临床应用场景,对测试数据进行限定。

在开始算法性能测试前,测试人员应先进行测试前数据准备。测试前数据准备流程见图1。

K

FK"A

-"AF

"A

0>!K"A

+



+

K

"A

-"A

图1测试前数据准备流程图

4.3.2测试数据采集

4.3.2.1图像数据采集

鉴于扫描设备、扫描参数、细胞病理玻片制作等因素对细胞病理图像的数字采集过程产生影响,制造

商应对采集设备、采集过程、人员培训等条件提出要求并建立图像数据采集操作规范。

注1:附录A中的A.1给出了图像数据采集的示例。

注2:细胞病理玻片扫描视野的选择由临床使用阶段细胞病理诊断的实际场景决定。

4.3.2.2文本数据采集

为确保测试数据的完整性,宜采集和病理图像数据形成唯一映射的患者非敏感临床数据(如细胞病

理玻片编号、年龄、诊断结论等)。

注:A.2给出了文本数据采集的示例。

4.3.2.3数据去标识化和数据合规性

测试数据按YY/T1833.2—2022中4.1.2.1和4.1.2.2的要求,提供数据来源的合规性陈述,并保

证数据去标识化、患者隐私安全和患者利益。

注:A.3给出了数据去标识化的方法示例。

4.3.2.4测试数据样本量

算法性能测试过程对样本量的最低要求按照YY/T1858—2022中4.3.2的要求进行计算。

注:测试样本量以患者为计算单元。

2

YY/T1990—2025

4.3.2.5测试数据多样性

应保证测试数据具有充分的临床代表性,控制数据前瞻性采集和回顾性收集过程导致的偏倚,数据

应覆盖具有通用性的统计维度以验证算法模型效果的普适性,包括:

a)患者维度,考虑个体差异和地域差异的影响;

b)疾病构成维度,包括但不限于分型、分级、分期;

c)场景维度,考虑不同的应用场景,如体检、筛查、门诊、手术和病理医学实验室等;

d)细胞病理玻片制作维度,考虑不同染色试剂、染色方法、制片设备及制片方法;

e)设备与配置维度,包括但不限于不同品牌、型号、不同分辨率及不同成像类型的病理成像

设备。

4.3.3测试数据标注

本文件涉及的测试数据在标注时按YY/T1833.3的要求。数据集制造责任方应提供标注规则的来源,

如世界卫生组织(WHO)、国内外公开发表的各类疾病的专家共识或诊断标准,确保标注标签准确、完整。

注:A.4给出了测试数据标注的示例。

4.3.4扩增数据

算法性能测试过程中,如有必要产生扩增数据,按YY/T1858—2022中4.3.4的要求执行,并且经人

工确认后对扩增数据进行交付使用。

4.4测试平台

如使用测试平台进行算法测试,测试平台按YY/T1858—2022中4.4的要求。

4.5测试指标与通过原则

测试人员应根据产品的预期用途、使用场景和算法需求,以及产品的技术特性和风险分析,明确制定

客观和可定量的测试指标。制造商应给出产品相对应各指标的标称值及允差或上下限。

对于产品应用场景测试指标,测试人员应根据产品预期用途和使用场景,确定适用的测试指标:

——

若预期用途包含细胞分割和细胞分类两个方面的任务,则应用场景测试应选择适用于细胞病理

图像分割和细胞类型识别两个方面的指标;

——若预期用途仅为细胞分类,则应用场景测试指标应选择适用于评价细胞类型识别的指标。

对于产品算法质量特性指标,测试人员应根据产品的技术特性和风险分析,确定适用的整体评估指

标,作为算法质量特性的判定依据。

算法性能测试通过准则,应包括产品应用场景测试指标和算法质量特性指标。

4.6测试流程

测试人员按照YY/T1858—2022中4.6的要求,根据测试文档开展测试活动,并形成完整的测试

记录。

4.7测试结果

测试人员按照YY/T1858—2022中4.7的要求,形成测试结果的描述文档。

3

YY/T1990—2025

5.1.1.3.3平均交并比

5算法性能测试方法

表达式见公式(3):

5.1算法应用场景的测试方法1kTP

mIOU=∑i……………(3)

kTP+FP+FN

5.1.1细胞病理图像分割场景i=1iii

式中:

5.1.1.1概述k——像素类别;

TP——真阳性像素数量;

细胞病理图像分割包括区域分割和细胞结构分割两个维度。区域分割是通过人工智能技术训练获FP——假阳性像素数量;

取识别细胞病理图像中正常细胞和疑似病变细胞区域或不同形态的细胞区域,具有自动区域分割的产品FN——假阴性像素数量。

输出的是感兴趣细胞区域分割图(segmentationofregionofinteresttissue,SROI),SROI可用于可疑病变

细胞的定位、特定细胞形态和数量占比测量计算和细胞病变程度分析。细胞结构分割(segmentationof5.1.1.4客观差异性评价指标

cellularstructure,Seg)是指细胞核、细胞膜和细胞质等结构的分割,细胞结构分割结果通常用于细胞数

5.1.1.4.1豪斯多夫距离

量、轮廓大小和形态分布等量化指标计算。

客观差异性评价指标采用豪斯多夫距离(Hausdorffdistance,HD)、平均对称表面距离(averagesym⁃‑

5.1.1.2测试步骤

metrysurfacedistance,ASSD),都是基于表面距离的评估指标,用于度量算法预测结果和参考标准分割

细胞病理图像分割场景测试的参考标准应满足4.3.2和4.3.3的所有内容后输出的分割标签,测试的最大差异。

人员在测试计划中应说明算法结果和参考标准结果的匹配方式和匹配阈值,匹配方式和匹配阈值的界定HD反映算法预测区域与参考标准区域之间的最大不匹配程度,表达式见公式(4):

应由产品制造商声称并提供。HD(,)=max{,}=max{maxmin(,),maxmin(,)}………(4)

XYdXYdYXdxydxy

在细胞病理图像分割场景下,算法性能测试按如下步骤进行:x∈Xy∈Yy∈Yx∈X

a)向待测算法输入测试集,输出算法结果,算法结果的格式宜与参考标准兼容;式中:

HD(,)——

b)算法分割的目标与参考标准分割的目标性能指标,按5.1.1.3和5.1.1.4描述的公式进行评价

定制服务