GB/T 45288.5-2026 人工智能 大模型 第5部分：多模态大模型

ICS35240

CCSL.70

中华人民共和国国家标准

GB/T452885—2026

.

人工智能大模型第5部分

:

多模态大模型

Artificialintelligence—Large-scalemodels—

Part5Multimodallare-scalemodel

:g

2026-09-28发布2027-01-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T452885—2026

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………2

多模态大模型系统参考架构

5……………2

多模态大模型数据要求

6…………………3

多模态数据类型要求

6.1………………3

多模态大模型预训练阶段数据要求

6.2………………3

多模态大模型监督微调阶段数据要求

6.3……………4

多模态大模型强化学习阶段数据要求

6.4……………4

多模态大模型的输入预处理要求

6.5…………………5

多模态大模型训练要求

7…………………5

多模态大模型预训练要求

7.1…………5

多模态大模型监督微调要求

7.2………………………6

多模态大模型强化学习要求

7.3………………………7

其他要求

7.4……………7

多模态大模型推理要求

8…………………8

跨模态理解要求

8.1……………………8

上下文理解要求

8.2……………………8

多模态生成要求

8.3……………………8

高效推理要求

8.4………………………9

多模态大模型应用与反馈要求

9…………9

跨模态基础任务

9.1……………………9

跨模态下游应用

9.2……………………9

领域个性化应用

9.3……………………9

用户反馈收集

9.4………………………10

安全合规检查

9.5………………………11

参考文献

……………………12

Ⅰ

GB/T452885—2026

.

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件是人工智能大模型的第部分已经发布了以下

GB/T(Z)45288《》5。GB/T(Z)45288

部分

:

第部分通用要求

———1:;

第部分评测指标与方法

———2:;

第部分服务能力成熟度评估

———3:;

第部分计算机视觉大模型

———4:;

第部分多模态大模型

———5:;

第部分语音大模型

———7:。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位浙江大学中国电子技术标准化研究院浦江国家实验室北京智源人工智能研究

:、、、

院蚂蚁科技集团股份有限公司北京智谱华章科技股份有限公司北京航空航天大学阿里云计算有限

、、、、

公司华为云计算技术有限公司科大讯飞股份有限公司上海商汤智能科技有限公司清华大学启元

、、、、、

实验室中国移动通信集团有限公司研究院中国电力科学研究院有限公司国能数智科技开发北京

、、、()

有限公司中国电信股份有限公司北京研究院南方电网数字电网集团有限公司中国航天科技体系与

、、、

创新研究院中国电信股份有限公司上海研究院杭州电子科技大学杭州师范大学华东师范大学中

、、、、、

国移动通信集团有限公司北京百度网讯科技有限公司中国科学院软件研究所杭州海康威视数字技

、、、

术股份有限公司北京交通大学北京邮电大学安徽大学上海计算机软件技术开发中心浙江大华技

、、、、、

术股份有限公司北京生数科技股份有限公司北京市公安局人工智能安全研究中心浙江省质量科学

、、、

研究院中科紫东太初北京科技有限公司中移杭州信息技术有限公司中移苏州软件技术有限

、()、()、()

公司北京中科金得助智能科技有限公司国投智能信息科技股份有限公司山东省人工智能研究院讯

、、、、

飞医疗科技股份有限公司浪潮软件科技有限公司浪潮通信信息系统有限公司中电信数智科技有限

、、、

公司中移雄安信息通信科技有限公司中兴通讯股份有限公司自然语义青岛科技有限公司哈尔滨

、、、()、

工业大学中车长春轨道客车股份有限公司中电科大数据研究院有限公司上海燧原科技股份有限公

、、、

司上海文鳐信息科技有限公司

、。

本文件主要起草人吴飞鲍薇况琨曹晓琦孙曦李建欣张圣宇石羡杨熙冯涛刘祥龙

:、、、、、、、、、、、

郑若琳杨彤晖吴庚吴涛董建陶建华王志栋刘伟东陈晰杨旭王峰梁寿愚高东辉焦若丹

、、、、、、、、、、、、、、

李皓月韩韬吴洋洋李晋伟李孟择范佳宣刘卫卫蒋慧郑子木范存航汪群博于佃海

、、、、、、、、、、、、

魏简康凯刘颖孟凡芹刘艾杉王嘉凯左兴权张丹丹阙锦龙王烨东谭文明洪立斌蔡海滨

、、、、、、、、、、、、

殷兵单珂陈敏刚尤梦祥孔维生黄现翠杨语澈王彦功肖红梅曹汐杨经纬王金桥付涛

、、、、、、、、、、、、、

李旭东高歌沈芷月李斌斌孟令中章古月秦日臻武鑫鑫张学聪郑庆国孙燕群逄菲李哲欣

、、、、、、、、、、、、、

李海峰赵孝武任祥臣余楷梅敬青仲凯韬

、、、、、。

Ⅲ

GB/T452885—2026

.

引言

多模态大模型作为人工智能领域的前沿技术有效整合了文本视觉语音等多种模态的信息处理

,、、

能力克服了传统单一模态模型在综合理解跨模态推理和任务泛化等方面的局限性已成为产学研的

,、,

焦点并得到了国内外企业系统解决方案供应商研究机构的广泛关注深入研究与实际应用本文件

,、、、。

旨在规范现有多模态大模型并推动不同模态间的知识迁移与融合降低多模态大模型的开发成本支

,,,

撑人工智能在更广泛领域赋能经济发展和社会进步人工智能大模型旨在规定通

。GB/T(Z)45288《》

用大模型的技术要求评测指标和服务能力拟由九个部分构成

、,。

第部分通用要求目的在于确立大模型的参考架构规定通用技术要求

———1:。,。

第部分评测指标与方法目的在于确立大模型的评测指标描述评测方法

———2:。,。

第部分服务能力成熟度评估目的在于给出大模型服务能力成熟度等级及评估方法

———3:。。

第部分计算机视觉大模型目的在于确立计算机视觉大模型的参考框架规定技术要

———4:。,

求描述测试方法

,。

第部分多模态大模型目的在于规定多模态大模型的参考架构和技术要求

———5:。。

第部分代码大模型目的在于定义代码大模型的概念和功能规定技术要求和测试方法

———6:。,。

第部分语音大模型目的在于定义语音大模型的概念和功能规定技术要求和测试方法

———7:。,。

第部分时间序列大模型目的在于定义时间序列大模型的概念和功能规定技术要求和测

———8:。,

试方法

。

第部分图大模型目的在于定义图大模型的概念和功能规定技术要求和测试方法

———9:。,。

Ⅳ

GB/T452885—2026

.

人工智能大模型第5部分

:

多模态大模型

1范围

本文件确立了多模态大模型的参考架构并规定了多模态大模型数据训练推理和应用等的技术

,、、

要求

。

本文件适用于多模态大模型系统的设计开发部署及应用

、、。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术大数据面向分析的数据存储与检索技术要求

GB/T41818—2022

信息技术人工智能术语

GB/T41867

智能制造多模态数据融合技术要求

GB/T42135—2022

人工智能大模型第部分通用要求

GB/T45288.11:

网络安全技术人工智能生成合成内容标识方法

GB45438

网络安全技术生成式人工智能预训练和优化训练数据安全规范

GB/T45652

网络安全技术生成式人工智能服务安全基本要求

GB/T45654

生成式人工智能技术应用社会影响评估指南

GB/T46800

3术语和定义

界定的以及下列术语和定义适用于本文件

GB/T41867、GB/T45288.1。

31

.

多模态大模型multimodallarge-scalemodel

基于机器学习技术实现对文本图像音频视频等多种模态数据的处理理解与生成支持多种模

,、、、、,

态数据的联合建模的大语言模型

。

注多模态大模型能从不同模态的数据中提取信息并将这些信息进行有效融合从而完成跨模态的任务如图文

:,,,

生成视频理解多模态情感分析等本文件中多模态大语言模型在广义上等同于多模态大模型

、、。。

32

.

多模态大模型系统multimodallarge-scalemodelsystem

利用多模态大模型的功能结合其他必要组件完成多模态任务的软件系统

,。

注其他必要组件包括用于数据采集与预处理的前端模块用于任务调度与资源管理的中间件用于结果呈现与交

:、、

互的用户界面以及用于保障系统稳定运行的监控和安全模块等这些组件与多模态大模型协同工作共同构

,。,

成一个完整的多模态应用解决方案多模态任务一般指需要人工智能模型同时理解和处理来自多种不同类型

。

数据模态的信息并在此基础上完成的复杂任务如结合视觉和语言信息的视觉问答任务结合音频和视觉

(),,、

的视听语音识别任务等

。

1