T/TAF 254-2024 移动智能终端AI能力评估方法
T/TAF 254-2024 Mobile AI capability evaluation method
基本信息
发布历史
-
2024年11月
研制信息
- 起草单位:
- 中国信息通信研究院、荣耀终端有限公司、OPPO广东移动通信有限公司、华为终端有限公司、维沃移动通信有限公司、小米通讯技术有限公司、珠海市魅族科技有限公司、高通无线通信技术(中国)有限公司、翱捷科技股份有限公司、北京三星通信技术研究有限公司、中兴通讯股份有限公司、紫光展锐(上海)科技有限公司、博鼎实华(北京)技术有限公司
- 起草人:
- 翟梦冉、张沛、祖廷伟、聂大伟、曾勇波、李辰淑、袁蔚、李根、麦睿楷、罗敏、王健宇、刘跃、高立发、于磊、王江胜、朱景鹏、杨帆、刁浩然、张宇超、李维成、龙迪、吴越、张宏伟、高斌、李丛蓉、刘妍、李一冉、王轶哲
- 出版信息:
- 页数:35页 | 字数:- | 开本: -
内容描述
ICS33.060
CCSM37
团体标准
T/TAF254—2024
移动智能终端AI能力评估方法
AIcapabilityevaluationmethodforsmartmobileterminals
2024-11-01发布2024-11-01实施
电信终端产业协会发布
T/TAF254—2024
目次
前言.......................................................................................................................................................................II
1范围..................................................................................................................................................................1
2规范性引用文件.............................................................................................................................................1
3术语和定义......................................................................................................................................................1
4缩略语..............................................................................................................................................................2
5评估框架..........................................................................................................................................................2
6端侧大模型......................................................................................................................................................4
6.1端侧大语言模型.....................................................................................................................................4
6.2端侧CV模型............................................................................................................................................4
7AI基础能力......................................................................................................................................................4
7.1语言处理能力..........................................................................................................................................4
7.2图像处理能力.........................................................................................................................................7
8AI智能服务与应用.........................................................................................................................................9
8.1通话辅助..................................................................................................................................................9
8.2文本处理................................................................................................................................................13
8.3图像处理与生成...................................................................................................................................20
8.4信息管理................................................................................................................................................27
9智能人机交互................................................................................................................................................28
9.1意图识别人机交互...............................................................................................................................28
10智能体..........................................................................................................................................................29
10.1智能体应用功能.................................................................................................................................29
10.2智能体应用能力.................................................................................................................................29
I
T/TAF254—2024
前言
本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由电信终端产业协会提出并归口。
本文件起草单位:中国信息通信研究院、荣耀终端有限公司、OPPO广东移动通信有限公司、华为终
端有限公司、维沃移动通信有限公司、小米通讯技术有限公司、珠海市魅族科技有限公司、高通无线通
信技术(中国)有限公司、翱捷科技股份有限公司、北京三星通信技术研究有限公司、中兴通讯股份有
限公司、紫光展锐(上海)科技有限公司、博鼎实华(北京)技术有限公司。
本文件主要起草人:翟梦冉、张沛、祖廷伟、聂大伟、曾勇波、李辰淑、袁蔚、李根、麦睿楷、罗
敏、王健宇、刘跃、高立发、于磊、王江胜、朱景鹏、杨帆、刁浩然、张宇超、李维成、龙迪、吴越、
张宏伟、高斌、李丛蓉、刘妍、李一冉、王轶哲。
II
T/TAF254—2024
移动智能终端AI能力评估方法
1范围
本文件规定了移动智能终端AI能力评估方法。
本文件适用于支持大模型应用的手机等移动智能终端。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,
仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
文件。
T/TAF255—2024智能终端大模型应用评估规范
3术语和定义
下列术语和定义适用于本文件。
3.1
人工智能ArtificialIntelligence
表现出人类智能(如推理和学习)相关的各种功能的功能单元和能力。
3.2
大模型LargeModel
指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有
数十亿甚至数千亿个及以上的参数。
其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数
千亿((10^{11}))甚至更多的参数。
3.3
PR曲线Precision-RecallCurve
评估分类模型性能的一种图表,横轴是召回率,纵轴是精确度。
3.4
意图式人机交互Intent-basedUI
通过理解用户的意图来提供更自然和高效的交互体验。
3.5
跨设备融合cross-deviceintegration
1
T/TAF254—2024
基于共享服务管理框架、跨设备协同决策中心,针对用户互联设备和单设备正在使用的服务向用户
提供意图识别能力,实现能力开放与生态接入。
3.6
智能体AIAgent
智能体,即人工智能(AI)代理是一个软件程序,它具备独立记忆,能够接受用户指令,可以与环
境互动、收集数据,通过分析和学习这些数据执行自我决定的任务以满足预定的目标。终端智能体通过
与软件、硬件、服务之间的交互,完成复杂任务,可以充当新的“服务入口”,基于相关信息向终端用
户推荐服务(应用)。
4缩略语
下列缩略语适用于本文件。
AI:人工智能(ArtificialIntelligence)
AP:平均精度(AveragePrecision)
ASR:语音识别(AutomaticSpeechRecognition)
CV:计算机视觉(ComputerVision)
IOU:交并比(IntersectionoverUnion)
NLP:自然语言处理(NaturalLanguageProcessing)
NLU:自然语言理解(NaturalLanguageUnderstanding)
OCR:光学字符识别(OpticalCharacterRecognition)
POI:兴趣地点(PointofInterest)
TTS:语音合成(TextToSpeech)
5评估框架
移动智能终端AI能力评估框架见表1。
表1评估框架
序号检测项目描述
端侧大语言模型端侧大语言模型的性能、物理尺寸、内存占用等
1端侧大模型
端侧CV大模型端侧CV模型的性能、物理尺寸、内存占用等
将语音信号转换为文本,ASR系统可以用于语音输
ASR能力
入、语音命令、语音转文字等应用
语言处理能力将文本转换为语音,TTS系统可以用于生成自然的
TTS能力
语音输出
2AI基础能力NLU能力自然语义理解
OCR对字符、图像进行识别,以便于后续处理的能力
图像处理能力目标检测识别和定位图像中的目标物体
图像分类将输入图像分配到预定义的类别中
2
T/TAF254—2024
表1评估框架(续)
序号检测项目描述
通话摘要自动生成通话内容的摘要或关键点,帮助用户回
顾重要信息
通话辅助
实时翻译实时将通话内容翻译成另一种语言,帮助进行有
效沟通
文章摘要自动生成长文本内容的摘要,帮助用户快速了解
文档要点
识别图像中的文字,并理解用户意图的能力(地
文本意图识别
文本处理址、快递单号、航班、列车车次时间等信息识别)
文本生成文本、文案生成
AI智能服务
3
与应用文本问答当用户用文本进行交互时,文本应答的能力
智能消除识别并消除背景人、物;并对图片进行填充
文生图由文字生成图像的能力
图像处理与智能抠图图片中自动分离出特定对象的能力
生成图像风格化改变图像的视觉风格以满足艺术或设计需求
AI扩图基于图像生成对图像进行扩展的能力
图片问答据输入的图像和自然语言问题生成相应的答案
通过理解用户查询的意图,提供符合描述的图片/
图片/视频语义搜索
视频
信息管理
通过理解用户查询的意图,提供符合描述的文本
文本语义搜索
内容
智能人机交复杂语音、文字、图片通过深度语义理解和图文
4意图式人机交互
互理解,使设备可以主动理解用户意图完成任务
帮助个人管理日常任务;
智能体应用个人助理、用机助理帮助用户执行任务、获取信息、管理日程等,
功能等应用以提高效率和便利性等
感知能力系统状态、用户感知、周围环境等的感知
规划推理能力通过逻辑推理和规划算法来拆解,解决复杂问题
5智能体
工具调用能力识别、选择和使用适当的工具来完成特定任务
智能体应用
智能体通过与环境的交互,学习短期记忆和长期
能力学习记忆能力
记忆
目标任务完成能力能否正确完成任务目标
3
T/TAF254—2024
6端侧大模型
6.1端侧大语言模型
6.1.1模型体积
相近参数规模下,依照T/TAF255—2024第7.1节中的方法进行测试。
6.1.2内存占用
相近参数规模下,依照T/TAF255—2024第7.2节中的方法进行测试。
6.1.3响应时间
相近参数规模下,依照T/TAF255—2024第7.3节中的方法进行测试首词响应时间、出词速率。
6.2端侧CV模型
6.2.1模型体积
相近参数规模下,依照T/TAF255—2024第7.1节中的方法进行测试。
6.2.2内存占用
相近参数规模下,依照T/TAF255—2024第7.2节中的方法进行测试。
6.2.3响应时间
相近参数规模下,依照T/TAF255—2024第7.3节中的方法进行测试出图速率。
7AI基础能力
7.1语言处理能力
7.1.1ASR能力
7.1.1.1客观指标
7.1.1.1.1字符错误率
分别在无背景噪声的安静场景和包含可控背景噪声的噪声场景下,输入ASR客观测试数据集,使被
测设备的ASR功能进行识别并获取识别结果,记录原字符串的长度、替换掉的字符数量、删除掉的字符
数量、额外插入的字符数量。按照公式(1)分别计算在安静场景和噪声场景下的字符错误率CER。
CER
(1)
式中:
N——原字符串的长度;
S——为替换掉的字符数量;
D——删除掉的字符数量;
I——额外插入的字符数量。
4
T/TAF254—2024
7.1.2TTS能力
7.1.2.1主观指标
7.1.2.1.1发音
输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的发音
清晰度、准确性、错/漏读进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准
如表2所示。
表2TTS能力的发音主观评分标准
得分54321
依据
发音非常清晰,发音清晰,只有发音较为清晰,发音不够清晰,发音非常不清
没有任何模糊极少数部分可但存在一些模多处地方模糊晰,大部分内容
或不清晰的部能需要仔细聆糊或不清晰的或不清晰,影响难以理解;准确
分;准确性高,听才能完全理部分,可能需要理解;准确性较性极低,大量发
所有单词和句解;准确性较集中注意力来低,存在多处发音错误,几乎无
理解;准确性一法理解语音输
子都正确无误高,大部分内容音错误,对整体
般,有若干发音出的内容;错读
地发音;没有错发音正确,但可理解造成较大
错误,但未严重或漏读现象非
读或漏读的现能存在极个别影响。
影响整体理解;错读或漏读现常严重,语音输
象,语音输出与小错误;错读或
存在一些错读出与原文本差
原文本完全一漏读现象极少,象较多,可造成
或漏读,不影响异极大,严重影
致对整体理解影对原文错误理
对原文核心意解响对原文的理
响无影响
思的理解解
7.1.2.1.2自然度
输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的语音
语调自然度进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表3所示。
表3TTS能力的自然度主观评分标准
得分54321
依据
语音语调极其语音语调较为语音语调尚可,语音语调较为语音语调非常
自然,与真人发自然,只有轻微但存在一些机生硬,机械感明生硬,机械感极
音无明显差异;的机械感或不械感或不自然显,缺乏自然流强,与自然语言
语调变化流畅,自然之处;语调之处;语调变化畅性;语调变化差异显著;语调
有时显得生硬不自然,存在多变化非常不自
符合句子语境;变化相对流畅,
或不连贯基本处与语境不符;然,与语境严重
语音节奏和停大部分符合语
符合语境;语音语音节奏和停不符;语音节奏
顿与自然语言境;语音节奏和
节奏和停顿存顿经常出现不和停顿极其不
流非常接近停顿较为自然,
在一些不自然自然或不恰当自然,严重影响
偶尔出现不自
的地方,影响整的地方,影响理语音的可理解
然的节奏变化
体自然度解性和可接受度
5
T/TAF254—2024
7.1.2.1.3感情化
输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的感情
化表现力和合理性进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表4
所示。
表4TTS能力的感性化主观评分标准
得分54321
依据
语音表现出极语音表现出较语音表现出一语音表现出的语音几乎不表
高的感情化特好的感情化特定程度的感情感情化特征较现出感情化特
征,能够非常自征,能够较为自化特征,但可能弱,无法很好地征,与文本的情
然地传达文本然地传达文本在某些地方显传达文本的情感色彩完全不
的情感色彩;语的情感色彩;语得不够自然或感色彩;语音表符;
音表达富有感音表达具有一不够准确;语音达缺乏感染力,语音表达完全
染力,能够引起定的感染力,能表达的情感感难以引起听众缺乏感染力,不
仅无法引起情
听众的情感共够较好地引起染力有限,无法的情感共鸣,甚
感共鸣,还可能
鸣听众的情感反充分引起听众至可能产生误
引起听众的反
应的情感共鸣解
感
7.1.3NLU能力
7.1.3.1客观指标
7.1.3.1.1BLEU
输入NLU客观测试数据集,使被测设备将该自然语言文本自动翻译成另一种自然语言文本。依照
T/TAF255-2024第7.1.4.3.2节中的方法计算BLEU。
7.1.3.2主观指标
7.1.3.2.1忠实度
输入NLU主观测试数据集,测试文本应包含简单句和复合句,使被测设备将该自然语言文本自动翻
译成另一种自然语言文本。通过主观MOS打分,判断译文是否忠实地表达了原文的内容。采用多人评分,
全部测试完成后,计算MOS平均值。单人评分标准如表5所示。
表5语言翻译忠实度主观评分标准
得分54321
依据原文中100%的原文中80%及以原文中60%及以原文中50%及以原文中50%以下
概念及其之间上的概念及其上的概念及其上的概念及其的概念及其之
的关系被正确之间的关系被之间的关系被之间的关系被间的关系被正
翻译正确翻译正确翻译正确翻译确翻译
7.1.3.2.2流畅度
6
T/TAF254—2024
输入NLU主观测试数据集,测试文本应包含简单句和复合句,使被测设备将该自然语言文本自动翻
译成另一种自然语言文本。通过主观MOS打分,判断译文是否流畅和地道。采用多人评分,全部测试完
成后,计算MOS平均值。单人评分标准如表6所示。
表6语言翻译流畅度主观评分标准
得分54321
依据
整体译文流畅80%的部分基本60%的部分基本40%的部分基本译文晦涩难懂
流畅,或原文中
地道流畅流畅(少数的短(只有个别的短
的主谓宾部分语或比词大的语或比词大的
基本流畅,只是语法成分可以
语法成分可以
个别词语或搭理解,或完全不
定制服务
推荐标准
- T/ZZB 3069-2023 管法兰用柔性石墨金属缠绕垫片 2023-06-30
- T/CCMA 0055-2017 工程机械液压管路布局规范 2017-12-29
- T/ZZB 010-2015 地铁隧道轴流通风机 2015-08-05
- T/ZZB 0101-2016 发动机密封件 无石棉纤维密封材料 2016-09-30
- T/NXJX 052-2023 控制阀检维修密封填料技术规范 2023-10-27
- T/WJGY 013-2022 耐冲击聚丙烯复合管 2022-11-21
- T/CFA 02010202-1-2017 用于塑料管或球墨铸铁管连接的球墨铸铁管件 2017-05-03
- T/CCGA 10006-2021 低温液体泵使用、维护安全技术规范 2021-09-28
- T/CASME 16-2022 工业过程控制用直行程电动调节阀 2022-09-23
- T/QGCML 1469-2023 锥形封头 2023-09-21