GB/Z 254-2026 人工智能 语言大模型云端推理部署工具链技术要求

ICS35240

CCSL.70

中华人民共和国国家标准化指导性技术文件

GB/Z254—2026

人工智能语言大模型云端推理部署工具链

技术要求

Artificialintelligence—Technicalrequirementsforcloud-basedinference

deploymenttoolchainoflargelanguagemodels

2026-08-27发布

国家市场监督管理总局发布

国家标准化管理委员会

GB/Z254—2026

目次

前言

…………………………Ⅲ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………2

语言大模型云端推理部署工具链框架

5…………………3

功能要求

6…………………3

硬件环境

6.1……………3

压缩工具

6.2……………4

推理引擎

6.3……………5

推理服务

6.4……………6

性能要求

7…………………7

硬件环境

7.1……………7

推理引擎

7.2……………7

推理服务

7.3……………8

Ⅰ

GB/Z254—2026

前言

本文件为规范类指导性技术文件

。

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位中国电子技术标准化研究院上海商汤智能科技有限公司北京航空航天大学

:、、、

上海库帕思科技有限公司北京人形机器人创新中心有限公司海信集团控股股份有限公司北京百度

、、、

网讯科技有限公司中国南方电网有限责任公司超高压输电公司贵阳局天翼云科技有限公司青岛理

、、、

工大学企知道科技有限公司北京智源人工智能研究院浪潮通信信息系统有限公司科大讯飞股份有

、、、、

限公司杭州海康威视数字技术股份有限公司广东中科凯泽信息科技有限公司西安汇智信息科技有

、、、

限公司深圳市优必选科技股份有限公司山东省人工智能研究院深圳市迪博技术有限公司天津大

、、、、

学深信服科技股份有限公司

、。

本文件主要起草人徐洋龚睿昊吴庚林达华李斌斌郭晋阳孙传兴刘祥龙山栋明施佳樑

:、、、、、、、、、、

周彩红刘宁蔺向楠于佃海党青青张治然王帅康鲁迪张玉柱刘颖肖红梅梁秉豪王萍萍

、、、、、、、、、、、、、

章放张凯吴军惠晓滨梁乔玲单珂袁吉郑喜吕琪高宇徐金涛

、、、、、、、、、、。

Ⅲ

GB/Z254—2026

人工智能语言大模型云端推理部署工具链

技术要求

1范围

本文件确立了云端语言大模型推理部署工具链框架规定了其功能要求和性能要求

,。

本文件适用于云端语言大模型推理部署工具链的设计研发和应用

、。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术人工智能术语

GB/T41867—2022

人工智能计算设备调度与协同第部分虚拟化与调度

GB/T45401.1—20251:

人工智能计算设备调度与协同第部分分布式计算框架

GB/T45401.2—20252:

人工智能深度学习编译器接口

GB/T46345—2025

3术语和定义

和界定的以及下列术语和定义适用于本文件

GB/T41867—2022GB/T46345—2025。

31

.

语言大模型largelanguagemodels

通过大规模的语料数据经过预训练及微调等操作得到的具有理解推理生成等能力的深度学习

,、、

模型

。

32

.

推理inference

从给定的前提进行论证并得出结论

。

注1在人工智能领域中一个前提是一个事实一个规则一个模型一个特征或原始数据

:,、、、。

注2术语推理既指过程也指结果

:“”。

来源

[:GB/T41867—2022,3.2.30]

33

.

模型部署modeldeployment

将经过训练的神经网络模型进行格式转换结构优化资源配置模型装载和服务发布使其能够在

、、、,

目标硬件或云端运行环境中执行推理任务的过程

。

注模型部署通常包括模型压缩模型转换计算图优化编译优化运行时装载资源分配服务启动和接口发布等

:、、、、、、

环节

。

34

.

工具链toolchain

针对神经网络模型进行模型压缩模型转换图优化编译优化部署调度监控等过程的工具

、、、、、、

1