T/TAF 255-2024 智能终端大模型应用评估规范
T/TAF 255-2024 Intelligent terminal large model application evaluation specification
基本信息
发布历史
-
2024年11月
研制信息
- 起草单位:
- 中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北京)技术有限公司
- 起草人:
- 张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立发、张宏伟、高斌、刘妍、梁君、李一冉
- 出版信息:
- 页数:22页 | 字数:- | 开本: -
内容描述
ICS33.050
CCSM30
团体标准
T/TAF255—2024
智能终端大模型应用评估规范
EvaluationspecificationforLLMsapplicationsonsmartterminals
2024-11-01发布2024-11-01实
施
电信终端产业协会发布
TTAF255—2024
目次
前言...........................................................................................................................................................................II
1范围......................................................................................................................................................................1
2规范性引用文件.................................................................................................................................................1
3术语和定义..........................................................................................................................................................1
4缩略语..................................................................................................................................................................1
5评估框架..............................................................................................................................................................2
5.1智能终端大模型应用评估基本框架........................................................................................................2
5.2模型性能......................................................................................................................................................2
5.3应用能力......................................................................................................................................................2
5.4核心场景......................................................................................................................................................2
6评估方法概述......................................................................................................................................................3
6.1总体要求......................................................................................................................................................3
6.2评估方与被评估方.....................................................................................................................................3
6.3选择评估指标.............................................................................................................................................3
6.4制定评估计划.............................................................................................................................................3
6.5模型评测......................................................................................................................................................3
7模型性能..............................................................................................................................................................4
7.1模型体积......................................................................................................................................................4
7.2内存占用峰值.............................................................................................................................................4
7.3响应时间......................................................................................................................................................4
7.4功耗..............................................................................................................................................................4
8应用能力..............................................................................................................................................................5
8.1语言类应用.................................................................................................................................................5
8.2图像类应用.................................................................................................................................................9
8.3语音类应用...............................................................................................................................................12
8.4多模态类应用...........................................................................................................................................13
9核心场景............................................................................................................................................................15
附录A(资料性)终端大模型应用的核心服务场景.....................................................................................16
I
TTAF255—2024
前言
本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规
定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由电信终端产业协会提出并归口。
本文件起草单位:中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为
终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北
京)技术有限公司。
本文件主要起草人:张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立
发、张宏伟、高斌、刘妍、梁君、李一冉。
II
TTAF255—2024
智能终端大模型应用评估规范
1范围
本文件规定了智能终端大模型应用的评估指标,可用于指导第三方测评机构对生成式AI和大模型相
关技术产品的评估、验收等工作。
本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用,可不
限于本参考框架的指标项或条款项,应符合标准中的定义和规范性描述。
2规范性引用文件
本文件没有规范性引用文件。
3术语和定义
下列术语和定义适用于本文件。
3.1
生成式人工智能服务GenerativeArtificialIntelligenceService
基于数据、算法、模型、规则,能够根据使用者提示生成文本、图片、代码、音频、视频等内容的
人工智能服务。
3.2
大模型LargeModel
指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有
数十亿甚至数千亿个及以上的参数。
其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数
千亿((10^{11}))甚至更多的参数。
4缩略语
下列缩略语适用于本文件。
AI:人工智能(ArtificialIntelligence)
APP:应用程序(Application)
BLEU:双语评估替补(BilingualEvaluationUnderstudy)
CLIP:双语评估替补(ConstrastiveLanguage-ImagePre-training)
EM:绝对匹配(ExactMatch)
FID:弗雷谢特初始距离(FréchetInceptionDistance)
MSE:均方误差(MeanSquareError)
PC:个人计算机(PersonalComputer)
1
TTAF255—2024
PSNR:峰值信噪比(PeakSignal-to-NoiseRatio)
ROUGE:以召回率为导向的摘要评价方法(Recall-OrientedUnderstudyforGistingEvaluation)
SER:句误率(SentenceErrorRatio)
SSIM:结构相似性系数(StructureSimilarityIndexMeasure)
WER:词误率(WordErrorRatio)
XR:拓展现实(ExtendedReality)
5评估框架
5.1智能终端大模型应用评估基本框架
本文件围绕智能终端相关模型性能、大模型应用能力和核心场景三个维度,规范了智能终端大模型
应用的通用评估框架和方法,评估基本框架见图1。
创作工作教育生活医疗出行测评指标
创意策划公文写作作业批改智能家居心理咨询路径规划服务评测
核心场景内容生成问题咨询数值计算智能推荐医疗问诊商旅预订
内容推荐会议纪要知识问答日常咨询健康咨询出行推荐
定制服务
推荐标准
- T/CCSA 393-2022 移动终端融合快速充电技术规范 2022-08-09
- T/SHV2X 1-2023 支持高级别自动驾驶的5G网络规划建设和验收要求 2023-08-21
- T/TAF 078.9-2020 "APP用户权益保护测评规范 移动应用分发平台信息展示 " 2020-11-26
- T/ZZB 1847-2020 外调制调幅激光发送机 2020-11-16
- T/SCSDSJFZYJH 005-2023 公共视频监控 第5部分:点位治理平台技术要求 2023-12-31
- T/ZGTXXH 052-2023 IPv6+基准测试方法 第一部分:总体原则 2023-03-28
- T/CVIA 11-2011 网络电视多媒体通信功能要求 2011-04-08
- T/SZEIA 003-2023 电子产品翻新 通用技术要求 2023-02-03
- T/CCSA 238.1-2018 支持北斗的移动终端无线射频和电磁兼容技术要求及测量方法 第1部分:电磁兼容 2018-12-06
- T/CIPR 047.2-2022 同、异频转发功能直放站:无线技术 2022-05-17