GB/Z 236-2026 人工智能 检索增强生成系统评价指标与方法

ICS35240

CCSL.70

中华人民共和国国家标准化指导性技术文件

GB/Z236—2026

人工智能检索增强生成系统评价

指标与方法

Artificialintelligence—Evaluationmetricsandmethodsforretrieval-augmented

generationsystems

2026-08-27发布

国家市场监督管理总局发布

国家标准化管理委员会

GB/Z236—2026

目次

前言

…………………………Ⅲ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………1

检索增强生成系统的评价参考框架

5……………………2

端到端评价

6………………3

答案相关性

6.1…………………………3

答案正确性

6.2…………………………4

答案流畅度

6.3…………………………4

模块化评价

7………………5

检索模块评估指标

7.1…………………5

生成模块评估指标

7.2…………………7

评价过程

8…………………7

概述

8.1…………………7

评价方案确定

8.2………………………7

测试数据集准备

8.3……………………7

测试环境准备

8.4………………………8

测试执行

8.5……………8

测试结果分析

8.6………………………9

附录资料性检索增强生成系统的一些其他评价维度

A()……………10

拒答能力

A.1…………………………10

信息整合能力

A.2……………………10

噪声鲁棒性

A.3………………………10

反事实鲁棒性

A.4……………………10

参考文献

……………………12

Ⅰ

GB/Z236—2026

前言

本文件为规范类指导性技术文件

。

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位中国电子技术标准化研究院蚂蚁科技集团股份有限公司北京百度网讯科技有

:、、

限公司中国石油天然气股份有限公司塔里木油田分公司上海文鳐信息科技有限公司中移杭州信

、、、()

息技术有限公司中移苏州软件技术有限公司浪潮软件科技有限公司浪潮通信信息系统有限公司

、()、、、

厦门渊亭信息科技有限公司中电信数智科技有限公司浪潮电子信息产业股份有限公司中移雄安信

、、、

息通信科技有限公司中国电子技术标准化研究院华东分院浙江大华技术股份有限公司中移互联网

、、、

有限公司上海商汤智能科技有限公司深信服科技股份有限公司海信集团控股股份有限公司江苏赛

、、、、

西科技发展有限公司中移九天人工智能科技北京有限公司中国移动通信集团有限公司中兴通讯

、()、、

股份有限公司上海翰纬信息科技有限公司北京软件产品质量检测检验中心有限公司深圳前海微众

、、、

银行股份有限公司南京理工大学北京神舟航天软件技术股份有限公司北京智芯微电子科技有限公

、、、

司中移物联网有限公司浪潮云信息技术股份公司山东省计算中心国家超级计算济南中心

、、、()。

本文件主要起草人徐洋彭晋孙曦马珊珊张彬琳李景秋刘增志杨其展马潇仲凯韬潘宏博

:、、、、、、、、、、、

付涛李旭东王珂琛李照川梁秉豪肖红梅洪万福朱成忠陈利明袁硕之邸贺亮郑庆国严小格

、、、、、、、、、、、、、

费玥陈庆洋韩鹏飞孔维生茹宏格肖夏阳王和俊徐金涛王红伟田羽慧张建董月文秦日臻

、、、、、、、、、、、、、

曹汐张宏伟史磊孔昊高玉翔戚湧于连坤密伟潘风文刘勇郑哲孔栋丁源郑佳佳逄锦山

、、、、、、、、、、、、、、。

Ⅲ

GB/Z236—2026

人工智能检索增强生成系统评价

指标与方法

1范围

本文件提出了检索增强生成系统的测试评价参考框架给出了端到端的评价指标和模块化评价指

,

标等并描述了实施评价方法

,。

本文件适用于检索增强生成系统的开发者应用者等进行相关产品的开发验收和应用也适用于

、、,

专业评测机构对相关产品和应用效果进行评估评价

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

人工智能大模型第部分通用要求

GB/T45288.1—20251:

人工智能检索增强生成通用技术要求

GB/Z253—2026

3术语和定义

和界定的以及下列术语和定义适用于本文件

GB/T45288.1—2025GB/Z253—2026。

31

.

端到端评价end-to-endevaluation

评估检索增强生成系统整体性能的活动

。

注端到端评价不单独考察系统中各个独立模块的性能而是关注系统作为一个整体在完成生成任务时的效果

:,。

该模式更适用于应用方对检索增强生成系统的实现质量进行整体评估对比或验收

、。

32

.

模块化评价module-wiseevaluation

对检索增强生成系统中各个独立模块进行独立评估的活动

。

注该模式侧重于考察系统中各个独立模块的实现质量更适用于开发者和研究者识别系统瓶颈并有针对性地进

:,

行开发改进

。

33

.

信息点informationpoint

从问题或答案中抽取出的能独立表达具体实体事实概念知识属性或关系的语义单元

、、、、、。

注在实践过程中对于信息点的抽取一般会结合使用工具自动化提取人工校对和标注的方法

:,,、。

4缩略语

下列缩略语适用于本文件

。

1