GB/T 42382.2-2026 信息技术 神经网络表示与模型压缩 第2部分：大规模预训练模型

ICS35040

CCSL.71

中华人民共和国国家标准

GB/T423822—2026

.

信息技术神经网络表示与模型压缩

第2部分大规模预训练模型

:

Informationtechnology—Neuralnetworkrepresentationandmodelcompression—

Part2Larescalere-traininmodel

:gpg

2026-04-30发布2026-11-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T423822—2026

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………2

概述

5………………………3

大规模预训练模型表示

6…………………3

语法描述

6.1……………3

语义描述

6.2……………5

大规模预训练模型压缩表示

7……………19

概述

7.1…………………19

大规模预训练模型结构优化

7.2………………………19

大规模预训练模型加速压缩流程

7.3…………………24

大规模预训练模型迁移压缩流程

7.4…………………28

大规模预训练模型封装表示

8……………36

概述

8.1…………………36

模型封装表示

8.2………………………37

模型封装传输

8.3………………………42

附录资料性大规模预训练模型技术参考架构

A()……………………45

原生预训练模型框架

A.1……………45

预训练模型开发框架规范

A.2………………………45

参考文献

……………………50

Ⅰ

GB/T423822—2026

.

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件是信息技术神经网络表示与模型压缩的第部分已经发

GB/T42382《》2。GB/T42382

布了以下部分

:

第部分卷积神经网络

———1:;

第部分大规模预训练模型

———2:;

第部分图神经网络

———3:。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位北京大学鹏城实验室华为技术有限公司北京百度网讯科技有限公司厦门大

:、、、、

学杭州海康威视数字技术股份有限公司中国电子技术标准化研究院中国科学院自动化研究所中科

、、、、

南京人工智能创新研究院铁塔智联技术有限公司中关村视听产业技术创新联盟

、、。

本文件主要起草人田永鸿杨帆陈光耀郑侠武彭军纪荣嵘韩凯胡晓光燕肇一张一帆

:、、、、、、、、、、

沈岗曹刘娟周奕毅张玉鑫马跃萧吴宇航谢展豪倪铭坚张翀彭佩玺马艳军于佃海陈秋良

、、、、、、、、、、、、、

陈泽裕陈醒濠唐业辉王云鹤蓝朝祥杨绮明郑传杨张凯彭博李哲暘谭文明任烨叶挺群

、、、、、、、、、、、、、

任文奇冯仁光周智强王培松程健麻文军杨雨泽鲍薇郑若琳沈芷月张伟民赵海英黄铁军

、、、、、、、、、、、、、

高文

。

Ⅲ

GB/T423822—2026

.

引言

人工智能领域正在发生迅速的范式转变深度影响了计算机视觉自然语言处理机器人自动驾

,、、、

驶智慧医疗等领域的发展大规模预训练模型是人工智能技术体系的重要组成部分是国民经济各行

、。,

业应用人工智能的前提该标准的目标在于提供大规模预训练模型可能涉及的表示和压缩技术方法参

。

考提升用户对模型的复用效果使用时对于大规模预训练模型的表示方法传输方法需进行必要的

,。,、

支持对于压缩技术可根据实际应用场景及技术构成做可选支持具体的支持方法由后续标准进行补

,,

充对于该标准规定的表示方法不要求平台原生支持可以通过转换工具包等形式进行支持同时相

。,、,

关的定义可转化为与特定计算设备框架匹配的形式和实现旨在确立适用于不同种类

、。GB/T42382

神经网络的表示方法与模型压缩的规范拟由三个部分组成

,。

第部分卷积神经网络目的在于确立适用千卷积神经网络的表示与模型压缩标准

———1:。。

第部分大规模预训练模型目的在于确立适应多种推理平台和计算要求的大规模预训练

———2:。

模型的基本表示方法与加速压缩过程

。

第部分图神经网络目的在于确立适应多种计算要求的高效图神经网络模型的基本表示

———3:。

方法与压缩加速过程

。

本文件的发布机构提请注意声明符合本文件时可能涉及到第章第章和第章与神经网络

,,6、78

表示框架相关的专利的使用第章与基于层级特征的网络稀疏化技术基于可微量化训练的视觉模型

;7、

压缩技术基于模型量化的任务处理技术神经网络模型裁剪技术基于注意力模型的特征提取技术相

、、、

关的专利的使用第章与模型封装与模型解封装技术相关的专利的使用

;8。

本文件的发布机构对于该专利的真实性有效性和范围无任何立场

、。

该专利持有人已向本文件的发布机构承诺他愿意同任何申请人在合理且无歧视的条款和条件

,

下就专利授权许可进行谈判该专利持有人的声明已在本文件的发布机构备案相关信息可以通过以

,。,

下联系方式获得

:

专利持有人北京大学

:

地址北京市海淀区颐和园路号

:5;

专利持有人华为技术有限公司

:

地址深圳市龙岗区坂田华为总部办公楼

:;

专利持有人厦门大学

:

地址福建省厦门市思明区思明南路号

:422;

专利持有人杭州海康威视数字技术股份有限公司

:

地址浙江省杭州市滨江区阡陌路号

:555;

专利持有人中科南京人工智能创新研究院

:

地址江苏省南京市创研路号麒麟人工智能产业园号楼楼

:26633;

专利持有人中国科学院自动化研究所

:

地址北京市海淀区中关村东路号

:95;

专利持有人百度在线网络技术北京有限公司

:()

地址北京市海淀区上地十街号百度大厦

:10。

请注意除上述专利外本文件的某些内容仍可能涉及专利本文件的发布机构不承担识别专利的

,。

责任

。

Ⅳ

GB/T423822—2026

.

信息技术神经网络表示与模型压缩

第2部分大规模预训练模型

:

1范围

本文件规定了适应多种计算机要求的大规模预训练的表示压缩表示和封装表示以及其对应的压

、,

缩流程适配流程封装流程和模型传输与分发

、、。

本文件适用于大规模预训练模型的研制开发过程以及在端云领域的高效应用

、,。

注对于本文件规定的表示与模型压缩方法不要求机器学习框架原生支持均通过转换工具包等形式支持

:,、。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术词汇第部分人工智能神经网络

GB/T5271.34—200634:

信息技术神经网络表示与模型压缩第部分卷积神经网络

GB/T42382.1—20231:

3术语和定义

界定的以及下列术语和定义适用于本文件

GB/T5271.34—2006。

31

.

预训练模型pre-trainedmodel

通过自监督或者无监督技术在大量的训练数据上训练得到初始模型能被迁移到目标相近的任务

,,

中进行使用的一种深度学习模型

。

32

.

大规模预训练模型largescalepre-trainedmodel

大模型

largescalemodel

大规模深度学习模型

large-scaledeeplearningmodel

基于大量数据训练得到具有复杂计算架构能够处理复杂任务且具备一定泛化性的深度学习

,,,

模型

。

注大模型的参数量由其功能和模态决定一般不低于亿大模型训练使用的数据总量受参数量的影响达到收

:,1。,

敛的大模型的参数量的对数与其训练数据总量的对数成正比

。

来源

[:GB/T45288.1—2025,3.1]

33

.

转换器transformer

基于多头注意力机制包含残差连接层归一化和全连接的能并行处理序列数据的序列到序列架

,、、、

构架构的网络

(Encoder-Decoder)。

1