GB/T 45087-2024 人工智能 服务器系统性能测试方法

ICS35160

CCSL.61

中华人民共和国国家标准

GB/T45087—2024

人工智能服务器系统性能测试方法

Artificialintelligence—Performancetestingmethodsforserversystems

2024-11-28发布2024-11-28实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T45087—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………3

测试模式

5…………………4

封闭模式

5.1……………4

开放模式

5.2……………4

训练性能测试

6……………4

测试过程

6.1……………4

训练测试要求

6.2………………………5

训练测试结果

6.3………………………6

测试场景

6.4……………7

测试场景配置要求

6.5…………………11

指标项及测试方法

6.6…………………12

训练用测试系统要求

6.7………………16

推理性能测试

7……………17

测试过程

7.1……………17

推理测试要求

7.2………………………17

推理测试结果

7.3………………………18

测试场景

7.4……………18

场景配置要求

7.5………………………24

指标项及测试方法

7.6…………………24

推理用测试系统要求

7.7………………29

附录资料性人工智能服务器系统性能测试工具示例

A()……………31

附录规范性训练测试要求

B()AUTOML……………32

训练要求

B.1……………32

训练结果日志要求

B.2…………………32

附录规范性测试代码公开规则

C()……………………33

通则

C.1…………………33

训练测试代码公开规则

C.2……………33

推理测试代码公开规则

C.3……………33

附录资料性测试场景类型说明

D()……………………35

图像识别

D.1……………35

Ⅰ

GB/T45087—2024

物体检测

D.2……………35

语义分割

D.3……………35

推荐

D.4…………………35

自然语言处理

D.5………………………35

语音识别

D.6……………35

光学字符识别

D.7………………………36

人脸识别

D.8……………36

多模态

D.9………………36

附录资料性能效及效率指标项和测试方法

E()………37

训练

E.1…………………37

推理

E.2…………………38

参考文献

……………………40

Ⅱ

GB/T45087—2024

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位中国电子技术标准化研究院华为技术有限公司浪潮电子信息产业股份有限公

:、、

司英特尔中国有限公司平头哥上海半导体技术有限公司科大讯飞股份有限公司新华三信息技

、()、()、、

术有限公司超威半导体产品中国有限公司北京航空航天大学中科寒武纪科技股份有限公司南京

、()、、、

南瑞瑞腾科技有限责任公司中国南方电网有限责任公司超高压输电公司石化盈科信息技术有限责任

、、

公司中国电信股份有限公司广东研究院上海燧原科技股份有限公司中国科学院软件研究所北京壁

、、、、

仞科技开发有限公司上海阡视科技有限公司上海超级计算中心上海文鳐信息科技有限公司美的集

、、、、

团上海有限公司国科础石重庆软件有限公司上海人工智能研究院有限公司四川华鲲振宇智能

()、()、、

科技有限责任公司深圳鲲云信息科技有限公司中国铁建股份有限公司中铁第五勘察设计院集团有

、、、

限公司西南科技大学

、。

本文件主要起草人董建徐洋张琦王莞尔曹晓琦黄剑彬梁朝明鲍薇吴韶华王海宁

:、、、、、、、、、、

林晓东马珊珊高慧张艺伯陶玉梅杨雨泽郑会平刘如冰李岚泊纪拓栾钟治程归鹏黄现翠

、、、、、、、、、、、、、

牧军石超叶珩王宁刘东庆李先绪师春雨梅敬青孟令中丁瑞全程秋林吴庚郁华真张丹丹

、、、、、、、、、、、、、、

仲凯韬任沛傅欣杰胡艳玲宋海涛白士玉刘东栾丽红李栋郑中俞文心

、、、、、、、、、、。

Ⅲ

GB/T45087—2024

引言

人工智能服务器系统包含人工智能服务器集群和高性能计算设施等形态是各类深度学习模型

、,

包含大规模预训练模型训练和推理的核心载体是各行业应用人工智能技术提高生产效率的核心工

(),

具人工智能服务器系统专为处理人工智能计算任务设计在架构运算方式和用途用法上与通用服

。,、,

务器系统有较大差别其测试过程负载和指标等皆有独特性本文件提出人工智能服务器系统性能

,、,。

基准测试的方法并对基准测试工具的功能和公平性提出要求

,。

本文件的发布机构提请注意声明符合本文件时可能涉及与人工智能服务器系统性

,,7.4.2、7.7.1

能测试方法相关专利的使用

。

本文件的发布机构对于该专利的真实性有效性和范围无任何立场

、。

该专利持有人已向本文件的发布机构承诺他愿意同任何申请人在合理且无歧视的条款和条件

,

下就专利授权许可进行谈判该专利持有人的声明已在本文件的发布机构备案相关信息可以通过以

,。,

下联系方式获得

。

专利持有人中国电子技术标准化研究院

:

地址北京市东城区安定门东大街号

:1

请注意除上述专利外本文件的某些内容仍可能涉及专利本文件的发布机构不承担识别专利的

,。

责任

。

Ⅳ

GB/T45087—2024

人工智能服务器系统性能测试方法

1范围

本文件界定了服务器系统性能测试模式描述了人工智能服务器系统训练性能和推理性能测试

,

方法

。

本文件适用于人工智能服务器系统的性能测试与评价

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术人工智能术语

GB/T41867—2022

3术语和定义

界定的以及下列术语和定义适用于本文件

GB/T41867—2022。

31

.

被测系统systemundertest

处理测试者给出的测试作业并返回符合要求结果的系统

,。

注被测系统由人工智能服务器系统硬件算子实现库机器学习框架软件模型编译组件和其他必要软硬件组成

:、、、。

32

.

被测者testedparty

提供被测系统和测试信息并协助测试实施的机构或个人

,。

33

.

参考模型referencemodel

用于定义系统测试要求的标准化的模型

。

来源有修改

[:ISO/IEC14776-414:2009,3.1.87,]

34

.

计时timing

获取并返回被测系统当前时间戳

。

注假设被测系统31各节点时间一致

:(.)。

35

.

人工智能服务器artificialintelligenceserver

信息系统中能为人工智能应用提供高效能计算处理能力的服务器

。

注1人工智能服务器含有专为人工智能计算设计的计算模块为人工智能应用提供专用加速计算能力

:,。

注2以通用服务器为基础配备人工智能加速卡后为人工智能应用提供专用计算加速能力的服务器称人工智

:,,,“

能兼容服务器

”。

注3专为人工智能加速计算设计提供人工智能专用计算能力的服务器称人工智能一体机服务器

:,,“”。

来源有修改

[:GB/T41867—2022,3.1.3,]

1

GB/T45087—2024

36

.

人工智能服务器集群artificialintelligenceservercluster

由通过高速互联网络或协议连接的若干人工智能服务器组成遵循统一控制和调度对外提供人

(),,

工智能计算的系统

。

注简称集群

:“”。

37

.

人工智能服务器系统artificialintelligenceserversystem

由人工智能服务器含集群和其他必要的计算存储设备操作系统等组成承担人工智能运算任

()、、,

务的计算系统

。

38

.

测试数据testdata

测试集

testdataset

用于测试最终机器学习模型功能的数据

。

来源

[:ISO/IEC22989:2022,3.2.14]

39

.

测试者tester

组织实施测试的机构或个人

、。

310

.

测试系统testsystem

测试实验室执行测试方法所采用的硬件软件和数据

、。

注测试系统不是被测系统中的机器学习框架软件或加速库

:。

来源有修改

[:GB/T16656.34—2002,3.5.9,]

311

.

作业job

含有测试样本的数据包

。

注1个作业通常含有个或多个测试样本

:11。

注2次测试任务至少含有个作业

:11。

312

.

性能performance

人工智能服务器系统运行计算任务时可被测量的特性

。

注性能通常基于个或多个参数如时间功耗实际吞吐率资源利用率弹性承压力和视频分析最大路数等

:1(、、、、、)

的测试或计算获得以表示在某机器中运行的某技术过程的行为特性和效率

,、。

313

.

训练数据trainingdata

训练集

trainingdataset

用于训练机器学习模型的输入样本子集

。

来源

[:ISO/IEC22989:2022,3.3.16]

314

.

验证数据validationdata

验证集

validationdataset

用于验证机器学习模型训练效果的输入样本子集

。

来源有修改

[:ISO/IEC22989:2022,3.2.15,]

2

GB/T45087—2024

315

.

布瑞恩浮点数brainfloating-point

包含位符号位指数和位尾数的浮点数表示方式

1、87。

注与个指数位和个小数位能表达的范围大小相同比个指数位个小数位能表示的范围

:FP32(823),FP16(5、10)

更大不易发生数值上溢或下溢更适合大模型的训练和推理

,,。

316

.

节点node

人工智能服务器系统中能独立完成训练或推理计算且其性能参数能被独立计量的组件

,,。

317

.

试验次数numberofroundsforatest

按试验的要求完成相同试验过程或重复处理相同数据的次数

,。

注训练测试中试验次数是从模型的初始化状态训练模型达至准确率门限或训练执行的训期数量含使用验证集

:,(

获得准确率

)。

318

.

训期epoch

引入到神经网络中的训练模式序列

。

注1训练过程完整遍历次训练集即个训期

:11。

注2对分布式训练所有训练节点的本地训练过程遍历处理遍本地训练集为个训期

:,1,1。

来源有修改

[:GB/T5271.34—2006,34.03.19,]

319

.

性能指标performanceindicator

用于评估人工智能服务器系统实现效果的度量

。

注本文件中在不引起误解的语境中将人工智能服务器系统性能指标简称为指标

:,,“”。

来源有修改

[:GB/T22454—2008,3.1.62,]

320

.

语素token

用于表示文本数据的最小单位

。

注如单词词组或字符

:、。

来源有修改

[:ISO23952:2020,3.3.11,]

4缩略语

下列缩略语适用于本文件

。

曲线下面积

AUC:(AreaUnderCurve)

自动机器学习

AUTOML:(AutomatedMachineLearning)

布瑞恩浮点数

BF16:(BrainFloating-point)

双语评估替换

BLEU:(BilingualEvaluationUnderstudy)

中央处理器

CPU:(CentralProcessingUnit)

半精度浮点数

FP16:(Half-precisionFloating-pointFormat)

单精度浮点数

FP32:(Single-precisionFloating-pointFormat)

双精度浮点数

FP64:(Double-precisionFloating-pointFormat)

图形处理器

GPU:(GraphicsProcessingUnit)

序号

ID:(IdentityDocument)

位整型数

INT4:4(4-bitInteger)

3

GB/T45087—2024

位整型数

INT8:8(8-bitInteger)

平均准确率均值

mAP:(MeanAveragePrecision)

平均交并比

mIOU:(MeanIntersectionOverUnion)

网络文件系统

NFS:(NetworkFileSystem)

人工智能加速器

NPU:(NeuralProcessingUnit)

光学字符识别

OCR:(OpticalCharacterRecognition)

外围组件互连快速总线

PCIe:(PeripheralComponentInterconnectExpress)

被测系统

SUT:(SystemUnderTest)

张量单精度浮点数

TF32:(TensorFloating-point)

位无符号整型数

UINT4:4(4-bitUnsignedInteger)

位无符号整型数

UINT8:8