T/TAF 255-2024 智能终端大模型应用评估规范

T/TAF 255-2024 Intelligent terminal large model application evaluation specification

团体标准 中文(简体) 现行 页数:22页 | 格式:PDF

基本信息

标准号
T/TAF 255-2024
标准类型
团体标准
标准状态
现行
中国标准分类号(CCS)
-
国际标准分类号(ICS)
发布日期
2024-11-01
实施日期
2024-11-01
发布单位/组织
-
归口单位
电信终端产业协会
适用范围
主要技术内容:本文件规定了智能终端大模型应用的评估指标,可用于指导第三方测评机构对生成式AI和大模型相关技术产品的评估、验收等工作。本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用,可不限于本参考框架的指标项或条款项,应符合标准中的定义和规范性描述

发布历史

研制信息

起草单位:
中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北京)技术有限公司
起草人:
张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立发、张宏伟、高斌、刘妍、梁君、李一冉
出版信息:
页数:22页 | 字数:- | 开本: -

内容描述

ICS33.050

CCSM30

团体标准

T/TAF255—2024

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

2024-11-01发布2024-11-01实

施

电信终端产业协会发布

TTAF255—2024

目次

前言...........................................................................................................................................................................II

1范围......................................................................................................................................................................1

2规范性引用文件.................................................................................................................................................1

3术语和定义..........................................................................................................................................................1

4缩略语..................................................................................................................................................................1

5评估框架..............................................................................................................................................................2

5.1智能终端大模型应用评估基本框架........................................................................................................2

5.2模型性能......................................................................................................................................................2

5.3应用能力......................................................................................................................................................2

5.4核心场景......................................................................................................................................................2

6评估方法概述......................................................................................................................................................3

6.1总体要求......................................................................................................................................................3

6.2评估方与被评估方.....................................................................................................................................3

6.3选择评估指标.............................................................................................................................................3

6.4制定评估计划.............................................................................................................................................3

6.5模型评测......................................................................................................................................................3

7模型性能..............................................................................................................................................................4

7.1模型体积......................................................................................................................................................4

7.2内存占用峰值.............................................................................................................................................4

7.3响应时间......................................................................................................................................................4

7.4功耗..............................................................................................................................................................4

8应用能力..............................................................................................................................................................5

8.1语言类应用.................................................................................................................................................5

8.2图像类应用.................................................................................................................................................9

8.3语音类应用...............................................................................................................................................12

8.4多模态类应用...........................................................................................................................................13

9核心场景............................................................................................................................................................15

附录A(资料性)终端大模型应用的核心服务场景.....................................................................................16

I

TTAF255—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规

定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位:中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为

终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北

京)技术有限公司。

本文件主要起草人:张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立

发、张宏伟、高斌、刘妍、梁君、李一冉。

II

TTAF255—2024

智能终端大模型应用评估规范

1范围

本文件规定了智能终端大模型应用的评估指标,可用于指导第三方测评机构对生成式AI和大模型相

关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用,可不

限于本参考框架的指标项或条款项,应符合标准中的定义和规范性描述。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则,能够根据使用者提示生成文本、图片、代码、音频、视频等内容的

人工智能服务。

3.2

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有

数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数

千亿((10^{11}))甚至更多的参数。

4缩略语

下列缩略语适用于本文件。

AI:人工智能(ArtificialIntelligence)

APP:应用程序(Application)

BLEU:双语评估替补(BilingualEvaluationUnderstudy)

CLIP:双语评估替补(ConstrastiveLanguage-ImagePre-training)

EM:绝对匹配(ExactMatch)

FID:弗雷谢特初始距离(FréchetInceptionDistance)

MSE:均方误差(MeanSquareError)

PC:个人计算机(PersonalComputer)

1

TTAF255—2024

PSNR:峰值信噪比(PeakSignal-to-NoiseRatio)

ROUGE:以召回率为导向的摘要评价方法(Recall-OrientedUnderstudyforGistingEvaluation)

SER:句误率(SentenceErrorRatio)

SSIM:结构相似性系数(StructureSimilarityIndexMeasure)

WER:词误率(WordErrorRatio)

XR:拓展现实(ExtendedReality)

5评估框架

5.1智能终端大模型应用评估基本框架

本文件围绕智能终端相关模型性能、大模型应用能力和核心场景三个维度,规范了智能终端大模型

应用的通用评估框架和方法,评估基本框架见图1。

创作工作教育生活医疗出行测评指标

创意策划公文写作作业批改智能家居心理咨询路径规划服务评测

核心场景内容生成问题咨询数值计算智能推荐医疗问诊商旅预订

内容推荐会议纪要知识问答日常咨询健康咨询出行推荐

定制服务

    相似标准推荐

    更多>