YY/T 1907-2023 人工智能医疗器械 冠状动脉CT影像处理软件 算法性能测试方法

ICS1104099

CCSC.30.

中华人民共和国医药行业标准

YY/T1907—2023

人工智能医疗器械冠状动脉CT影像

处理软件算法性能测试方法

Artificialintelligencemedicaldevice—CoronaryCTimageprocessingsoftware—

Algorithmperformancetestmethods

2023-09-05发布2024-09-15实施

国家药品监督管理局发布

YY/T1907—2023

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由国家药品监督管理局提出

。

本文件由人工智能医疗器械标准化技术归口单位归口

。

本文件起草单位中国食品药品检定研究院上海长征医院中国医学科学院阜外医院首都医科大

:、、、

学附属朝阳医院中国人民解放军东部战区总医院国家药品监督管理局医疗器械技术审评中心中国

、、、

科学技术大学苏州高等研究院清华大学辽宁省医疗器械检验检测院中国人民解放军总医院上海联

、、、、

影智能医疗科技有限公司上海西门子医疗器械有限公司科亚医疗科技股份有限公司深圳睿心智能

、、、

医疗科技有限公司数坤北京网络科技股份有限公司推想医疗科技股份有限公司杭州深睿博联科

、()、、

技有限公司飞利浦中国投资有限公司

、()。

本文件主要起草人李佳戈刘士远吕滨萧毅杨旗张龙江彭亮王晨希王晶王浩郝烨孟祥峰

:、、、、、、、、、、、、

周少华冯建江刘凯张龙达何昆仑李澍吴迪嘉费震宇李广马骏郑超王少康乔昕葛鑫

、、、、、、、、、、、、、、

刘盼

。

Ⅰ

YY/T1907—2023

人工智能医疗器械冠状动脉CT影像

处理软件算法性能测试方法

1范围

本文件描述了采用人工智能技术的冠状动脉影像处理软件的算法性能测试方法

CT。

本文件适用于采用人工智能技术对冠状动脉影像进行后处理的软件产品

CT。

本文件不适用于影像前处理和过程优化

。

注冠状动脉影像的采集方式包括冠状动脉血管成像

:CTCT(coronarycomputedtomographyangiography,

和平扫成像

CCTA)CT。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

人工智能医疗器械质量要求和评价第部分术语

YY/T1833.11:

人工智能医疗器械质量要求和评价第部分数据集通用要求

YY/T1833.22:

人工智能医疗器械质量要求和评价第部分数据标注通用要求

YY/T1833.33:

3术语和定义

界定的以及下列术语和定义适用于本文件

YY/T1833.1、YY/T1833.2、YY/T1833.3。

31

.

冠状动脉中心线coronarycenterline

沿着血管的轴向连接冠状动脉各个横断面图像上的管腔中心点形成的曲线该曲线的起点是冠

、。

状动脉开口终点是各支冠状动脉清晰可辨的最远端

,。

注冠状动脉中心线一般呈现在曲面影像上

:。

32

.

CT血流储备分数CTfractionalflowreserveCTFFR

;

根据冠状动脉血管影像计算得到的血流储备分数

CT。

注附录给出了血流储备分数的补充说明

:A。

33

.

冠状动脉钙化积分coronaryarterycalciumscore

计算冠状动脉钙化程度的一项量化指标一般在冠状动脉血管成像前使用心电门控进行

,CT

平扫轴位扫描结合数理公式对冠状动脉钙化进行量化

CT(),。

注1目前常用的计算方法包括积分体积积分和质量积分

:Agatston、。

注2积分是冠状动脉钙化积分的常用指标附录补充说明其计算方式

:Agatston,B。

注3冠状动脉钙化是根据病变大小超过某一面积或体积阈值密度超过规定的值阈值来定性不同计算方法

:、CT,

不尽相同指南推荐采用积分

,Agatston。

1

YY/T1907—2023

注4钙化积分包括左主干前降支回旋支右冠状动脉各自积分以及相加后总积分

:(LCA)、(LAD)、(LCX)、(RCA),

即患者维度的钙化积分

()。

4算法性能测试要求

41概述

.

冠状动脉影像处理软件的算法性能测试过程宜参照中的要求建立测

CTYY/T1858—20224.1,

试文档如测试过程需要复测对复测次数进行限制避免算法对参考标准进行推测或针对性调优

;,,。

42测试环境

.

算法性能的测试环境要求宜参照中

YY/T1858—20224.2。

43测试资源

.

431测试集要求

..

测试集的质量应满足的要求测试集应独立于算法训练调优过程保证封闭性和安

YY/T1833.2;、,

全性制造商可根据产品预期用途和临床应用场景对测试数据进行限定

;,。

432数据采集要求

..

4321影像质量要求

...

冠状动脉影像宜满足如下要求

CT:

测试集使用影像设备采集的原始图像进行脱敏去除个人敏感信息脱敏后不对图像内容进

———,,;

行修改

;

每个病例的影像序列保持连续完整

———、;

来自非能谱的冠状动脉影像明确冠状动脉左主干和支冠状动脉近中段

———CTCT3(RCA、

的值范围

LAD、LCX)CT;

注1值范围例如不低于

:CT350HU。

明确图像的信噪比可使用主动脉根部管腔内的值标准差数值

———,CT;

血管和器官成像扫描范围宜完全覆盖冠状动脉

———;

避免运动重组金属噪声对比剂显影不足等情形带来的伪影

———、、、、;

避免不合适的扫描参数或过低管电压导致的信噪比降低

———。

数据集制造责任方应记录影像采集的技术参数

。

注2示例见附录中

:BB.2。

4322测试集样本量要求

...

对于辅助诊断场景下的算法准确性测试测试集宜参照中计算其他场

,YY/T1858—20224.3.2。

景下的算法测试可参考的样本量计算公式见附录

B。

4323测试集多样性要求

...

测试数据集宜体现产品适用范围和临床使用场景内的样本多样性包括成像设备维度患者维度

,、。

成像设备维度考虑以下内容

:

图像信噪比例如依据左主干和支冠状动脉近中段管腔内值考虑增强图像的信噪比

———,3CT,

区间

;

2

YY/T1907—2023

设备型号成像参数的多样性

———CT、、。

患者维度考虑以下内容

。

性别年龄等因素的多样性

———、。

产品适用范围考虑生理结构病变类型或分级如下

———,、,:

冠状动脉供血类型右优势型左优势型均衡型

1)(、、);

有无解剖变异

2);

不同分级的管腔狭窄

3);

斑块类型

4);

斑块尺寸分布范围

5)、;

高危斑块类型特征

6);

慢性完全闭塞冠状动脉瘘

7)、;

单支病变多支病变两支病变三支病变多节段病变含弥漫病变分叉病变

8)、(、)、()、;

钙化积分的数值分级

9)、;

心肌异常密度影如心肌不均匀密度影包括区域心肌低密度影脂肪密度影少见高密

10)(,、、

度钙化影

)。

4324扩增数据要求

...

在算法鲁棒性测试中可参照中对测试集进行扩增扩增数据的参考标准

,YY/T1858—20224.3.4;

应通过人工确认后交付使用

。

433测试工具要求

..

算法测试使用的体模标准器宜参照中的要求

、YY/T1858—20224.3.5。

用于采集有创的压力导丝应具有医疗器械注册证

FFR。

44测试平台

.

如使用测试平台进行算法测试测试平台宜满足中的要求

,YY/T1858—20224.4。

45测试指标与通过准则

.

测试指标与通过准则的选取宜参照执行中的一般要求根据产品的适用功

YY/T1858—20224.5;

能选择测试指标一般按照病灶节段血管和患者等不同的统计维度进行计算

,、、。

测试计划应根据产品预期用途制定描述病灶的定义测量方式分类分级方式冠状动脉分段方

,、、/、

式病例总体结论的确立规则等适用的信息作为开展测试的依据

、,。

46测试流程

.

测试人员宜参照中的一般要求根据测试计划开展测试活动建立测试

YY/T1858—20224.6,,

记录

。

47测试结果

.

测试人员宜参照中的一般要求描述测试结果

YY/T1858—20224.7,。

3

YY/T1907—2023

5算法性能测试方法

51算法应用场景的测试方法

.

511区域分割

..

如待测产品预测管腔区域宜使用系数计算预测区域和参考标准区域的重合度计算公式见

,Dice,

公式

(1)。

AB

=×∩

Dice2A+B…………(1)

式中

:

系数

Dice———Dice;

A预测区域

———;

B参考标准区域

———。

注预测区域参考标准区域可能是连续的区域也可能是断续区域的累加

:、,。

如待测产品预测管腔边界可使用单向距离表征预测边界和参考边界之间的相似程

,Hausdorff

度可使用双向距离表征预测边界和参考边界之间的最大不匹配程度两者的计算公式见公

,Hausdorff,

式

(2)。

dXY=dXYdYX=dxydxy

H(,){,}xXyY(,),yYxX(,)…………()

maxmaxm∈axmi∈nma∈xm∈in2

式中

:

dXY双向距离

H(,)———Hausdorff;

X预测的分割边界

———;

Y人工标注的分割边界

———;

dXY从X到Y的单向距离用于表征预测边界和参考边界之间的相似程度

———Hausdorff,;

dYX从Y到X的单向距离不常使用

———Hausdorff,;

dx点x到点的距离x与分别为X和Y中的任意点

(,y)———y,y。

在血管维度计算上述指标然后在整个测试集上求平均值和标准差作为最终结果

,,。

512冠状动脉中心线提取与测量

..

如中心线提取与测量功能不作为产品的主要临床性能指标本文件不对测试指标与方法进行限定

,。

制造商可参考附录的方法开展过程验证

B,。

513冠状动脉分段识别

..

第一步根据制造商声称的分段方式和依据在同一病例的冠状动脉各个分段上分别比较算法的输

,,

出结果和参考标准构造混淆矩阵计算同一病例的总体准确率各分段的灵敏度特异度准确率

,,、、、。

第二步对测试集各病例的混淆矩阵进行合并计算测试集整体的准确率各分段的灵敏度特异

,,、、

度准确率

、。

计算时参考标准管腔直径的分段应从混淆矩阵中剔除

,<1.5mm。

混淆矩阵的构造方法和相关指标的计算公式见中后同

YY/T1858—20225.1.3,。

注1常见的分段方式包括或分段由制造商根据临床文献进行选择

:15、1718,。

注2分段依据是产品判定某段冠状动脉的具体分段名称的依据例如某产品对某段冠状动脉的管腔区域进行

:。,

分割当分割结果与参考标准中的某分段的系数大于制造商规定的阈值时认为产品分割的区域对应

,Dice,

该分段

。

4

YY/T1907—2023

514钙化积分评估

..

5141一致性分析

...

当待测产品输出钙化积分的具体数值连续性变量时宜使用算法预测的钙化积分参考标准给出

(),、

的钙化积分开展两组数据之间的一致性分析测试集整体

,()。

注这里一般指患者水平的总钙化积分当产品输出单支血管的钙化积分时则对血管水平的钙化积分进行计算

:;,。

一致性分析可选用以下指标和计算方法

。

分析以算法预测结果减去参考标准结果的差值为纵轴以算法预测结果和参

a)Bland-Altman:,

考标准的算数平均值为横轴绘制散点图并标示一致性界限

,,95%。

组内相关系数两组钙化积分数值之间的一致性可使用公式进行计算

b):(3)。

σs2

=

ICCσs2+σε2…………(3)

式中

:

组内相关系数

ICC———;

σs2钙化积分预测值与参考标准之间的方差

———;

σε2钙化积分预测值参考标准内部的方差

———、。

相关系数算法预测的钙化积分和参考标准钙化积分的协方差除以它们标准差的乘

c)Pearson:

积其计算方式见公式

,(4)。

XYEX-μXY-μY

ρXY=cov(,)=

(,)σXσYσXσY…………(4)

式中

:

ρXY相关系数

(,)———Pearson;

X算法预测钙化积分的平均值

———;

Y参考标准钙化积分的平均值

———;

XX的平均值

μ———;

YY的平均值

μ———;

σXX的标准差

———;

σYY的标准差

———。

当待测算法输出钙化积分的分级时可对算法预测钙化积分参考标准钙化积分同时进行升序或降

,、

序排序后计算