T/CADHOH 0004-2023 智能手语翻译系统测试规范

ICS35.240.99

CCSI6599

团体标准

T/CADHOH0004—2023

智能手语翻译系统测试规范

SpecificationsforIntelligentSignLanguageTranslationSystemTest

2023-08-26发布2023-08-28实施

中国聋人协会发布

T/CADHOH0004—2023

目次

目次..............................................................................................................................................I

前言..........................................................................................................................................................II

1范围..................................................................................................................................................................1

2规范性引用文件..............................................................................................................................................1

3术语和定义......................................................................................................................................................1

4测试语料库......................................................................................................................................................2

手语视频...................................................................................................................................................2

对译文本...................................................................................................................................................2

5技术指标测试步骤及评价方法......................................................................................................................2

准确率.......................................................................................................................................................2

可读性.......................................................................................................................................................4

翻译响应时间...........................................................................................................................................5

系统适用性...............................................................................................................................................5

6综合评价方法..................................................................................................................................................7

附录A（资料性）手语视频的图片样例............................................................................................9

附录B（资料性）手语转写文本的标注格式..................................................................................10

参考文献................................................................................................................................................13

图A.1手语视频的图片样例………………9

表1识别准确率得分表………………………3

表2翻译准确率得分表………………………4

表3手语可读性得分表………………………4

表4有声语言可读性得分表…………………4

表5翻译响应得分表…………………………5

表6头部顶点数量得分表……………………6

表7头部完备度得分表………………………6

表8身体顶点数量得分表……………………6

表9表情质量得分表…………………………6

表10身体质量得分表………………………..7

表11除手语数字人之外的其他适用性得分表……………..7

表12单项指标权重系数……………………..8

表B.1面向人工智能应用的中国手语文本转写方案………10

表B.2面向人工智能应用的中国手语手势标记方案………11

表B.3测试语料库对译文本示例……………12

I

T/CADHOH0004—2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本标准由中国聋人协会提出并归口。

本标准起草单位：天津理工大学、中国聋人协会手语研究和推广委员会、中国聋人协会手语翻译委

员会、国家通用手语数字推广中心、浙江工业大学、北京百度网讯科技有限公司、天津鲸言科技有限公

司。

本标准主要起草人：袁甜甜、杨洋、仰国维、徐聪、杨学、冯缘、闵笛、刘盛、薛万利、薛翠红、

董慧芳、刘娲、李士岩、李俊杰、刘朝东、刘美含、刘银行、孙萌、吴宇浩、吴准、赵晓光、张扬、吴

倩、王招华。

II

T/CADHOH0004—2023

智能手语翻译系统测试规范

1范围

本文件规定了智能手语翻译系统的测试语料库、技术指标测试步骤及评价方法，并给出了综合评价

方法。

本文件适用于对智能手语翻译系统进行综合评价。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

T/CADHOH0002.1-2022手语翻译服务规范第1部分：传译服务

3术语和定义

下列术语和定义适用于本文件。

智能手语翻译intelligentsignlanguagetranslation

通过人工智能手段，自动在手语(3.6)与有声语言(3.7)或两种手语之间进行翻译，包括手语传译(也

就是即时的翻译服务)和非即时的翻译服务。

智能手语翻译系统intelligentsignlanguagetranslationsystem

提供智能手语翻译(3.1)的信息系统。

手语使用者signer

需使用手语沟通的人。

[来源：T/CADHOH0002.1-2022,3.5]

源语言sourcelanguage

在翻译过程中的输入语言。

[来源：T/CADHOH0002.1-2022,3.8]

目标语言targetlanguage

在翻译过程中的输出语言。

[来源：T/CADHOH0002.1-2022,3.9]

手语signlanguage

1

T/CADHOH0004—2023

聋人群体在社会生活中使用的主要交际工具，是一种由手势、面部表情和身体姿态构成的视觉符

号系统。

[来源：T/CADHOH0002.1-2022,3.10]

有声语言spokenlanguage

人们用于交流和思维的有声符号系统，包括口语及其书面语形式。

[来源：T/CADHOH0002.1-2022,3.11]

手语转写文本signlanguagegloss

按照手语出现顺序直译的字或词语。

手语数字人signlanguageavatar

提供智能手语翻译(3.1)服务的虚拟人物。

4测试语料库

手语视频

手语词打法来源于《国家通用手语词典》[1]，视频录制清晰，与对译文本(4.2)内容一致，使用长度

为15个手语词以内的连续自然手语表达，样例见附录A。

对译文本

对译文本为手语转写文本和有声语言中书面语之间的翻译文本对，手语转写文本除进行词级标注外，

还根据人工智能系统的需要细化到手势级标注，标注格式见附录B。

5技术指标测试步骤及评价方法

准确率

5.1.1计算方法

5.1.1.1识别阶段

用于评价源语言转换为目标语言过程中识别阶段的结果，即：手语译入有声语言时手语视频识别为

手语转写文本、有声语言译入手语时口语识别为书面语或图像中的文字识别为书面语等两个过程的识别

结果。使用指标为WER(WordErrorRate，词错率)[2]，计算见公式(1)。

=(1)

式中：

S——识别结果与标准文本(GroundTruth)比较时需要进行替换的数量；

D——识别结果与标准文本比较时需要进行删除的数量；

I——识别结果与标准文本比较时需要进行插入的数量；

N——标准文本句子中总的字或词的数量。

S、D、I使用编辑距离来计算，编辑距离(EditDistance)一般采用莱温斯坦距离(LevenshteinDistance)，

用于衡量两个字符串之间的相似度。编辑距离越短，识别结果与标准文本越相似，因此WER值越低，

评价结果越好。

2

T/CADHOH0004—2023

该阶段分数如表1所示。

表1识别准确率得分表

手语译入有声语言有声语言译入手语

识别准确率分数评分标准识别准确率分数评分标准

0WER≥0.60WER≥0.2

60+(0.6-WER)×1000.4≤WER<0.660+(0.2-WER)×2000.1≤WER<0.2

80+(0.4-WER)×1000.2≤WER<0.480+(0.1-WER)×2500.02≤WER<0.1

100WER<0.2100WER<0.02

5.1.1.2翻译阶段

用于评价源语言转换为目标语言过程中翻译阶段的结果，即手语译入有声语言时手语转写文本翻译

为书面语、有声语言译入手语时书面语翻译为手语转写文本等两个过程的翻译结果。采用BLEU[3]和

ROUGE-L[4]两个指标相结合的计算方式，公式分别见(2)-(4)和(5)-(8)。

BLEU=BP⋅exp∑(2)

∑∈∑gram∈countclip(gram)

=(3)

∑∈∑gram'∈count(gram')

=∑