T/SDAAI 0001-2023 人工智能写稿稿件质量评价规范

ICS35.240

L70/84

团体标准

T/SDAAI0001—2023

人工智能写稿稿件质量评价规范

Specificationforqualityevaluationofmanuscriptswritten

byartificialintelligence

2023-03-31发布2023-04-01实施

山东省人工智能学会发布

T/SDAAI0001—2023

目录

前言.......................................................................III

引言........................................................................IV

1范围......................................................................1

2规范性引用文件............................................................1

3术语和定义................................................................1

4评价指标体系..............................................................1

4.1新闻类别及特点.....................................................1

4.2评价体系分类.......................................................2

4.3报纸新闻稿件质量评价体系...........................................2

4.4广播新闻稿件质量评价体系...........................................3

4.5电视新闻稿件质量评价体系...........................................4

4.6网络新闻稿件质量评价体系...........................................4

5评价方法..................................................................5

5.1评价方法分类.......................................................5

5.2主观评价方法.......................................................5

5.3客观评价方法......................................................10

6评价流程.................................................................28

7人工智能写稿稿件质量等级划分.............................................28

附录内容目标禁忌词汇汇总..................................................30

II

T/SDAAI0001—2023

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规

则》给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由山东省人工智能学会提出并归口。

本文件负责起草单位：山东大学，中国科学技术大学，杭州电子科技大学，人民日报社，

山东舜网传媒股份有限公司。

本文件主要起草人：任昭春，陈竹敏，任鹏杰，辛鑫，高莘，郝艳宾，俞俊，张弛，韩

强，许海振，王延超，吕由钢，王梓涵。

III

T/SDAAI0001—2023

引言

步入新世纪以来，云计算、大数据、人工智能等信息技术飞速发展，逐渐影响人类生活

的方方面面。机器新闻写作就是在新闻传播业中人工智能技术应用的产物，它能够借助计算

机程序在很短的时间内自动抓取海量的信息，从中整理和归纳，自动生成新闻内容，颠覆性

地改变了传统新闻生产的方式，也为新闻业带来了极大变革。由于边际成本很低而且能快速

生成大量新闻，目前机器新闻写作技术在不同题材已有不少应用，满足了不同读者的阅读需

求。

高标准的稿件质量评价方法对人工智能写稿技术更好地应用起着重要作用。传统中，新

闻质量评价通常有主观评价和客观评价两种方式。其中，主观评价是由普通读者或报社专业

编辑对稿件做出评价，形成人工反馈；客观评价是计算机算法给出稿件质量的量化指标。主

观评价方法存在量化评估难、效率低等问题，而客观评价方法存在评价准确性与人工反馈有

较大差距的问题。目前，业界缺乏对人工智能稿件质量主客观一致的有效评价方法，在一定

程度上影响着人工智能写稿算法及技术的广泛应用。

本文件面向人工智能写稿系统生成的多模态新闻稿件质量评价，聚集了国内人工智能写

稿及新闻质量评价领域的技术专家，开展了多种形式的专题研讨和征求意见活动，在保证标

准科学性、合理性和可行性的同时，确保了标准研制过程的公开性和透明性。

IV

T/SDAAI0001—2023

人工智能写稿稿件质量评价规范

1范围

本文件规定了人工智能写稿稿件质量的评价指标体系、主客观评价方法、评价流程及稿件质量

等级划分。

本文件适用于第三方机构对人工智能写稿系统生成的稿件质量进行评价，也适用于人工智能写

稿系统开发方自评。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

人工智能写稿Artificialintelligencebasedwriting

计算机模型使用自然语言处理和知识图谱技术自动撰写新闻稿件。

3.2

稿件质量评价Writingqualityevaluation

根据新闻稿件质量评价体系对新闻稿件内容量化评分，区分新闻稿件质量优劣。

4评价指标体系

4.1新闻类别及特点

新闻类别及特点如表1所示。

表1新闻类别及特点

新闻类别写作特点

严谨，力求真实、准确地还原新闻事件。

报纸新闻

要在有限的篇幅内高度还原新闻事实，还要体现鲜明的媒体观点。

1

T/SDAAI0001—2023

表1新闻类别及特点（续）

新闻类别写作特点

专业性强，大多是记者实地采访后的原创作品。

报纸新闻

版面有限，强调严谨性，受拘束较多。

口语化、通俗化（追求新、快、短）。

广播新闻语体是谈话体、文书体（像谈话一样亲切自然，易被受众接受）。

语境是一对多（常见于口播）或一对一（常见于新闻评论）。

有声画合一/声画对位两种组合方式。

电视新闻有图像型（画面为主导，以突发性新闻为代表）、解说型（解说词为主导、以综合性报道为代

表）、图像解说型（图文并重）三种组合类型。

全时性，即时、连续地对公众关注的新闻主题进行报道。

风格化，不同的媒体拥有自己的报道特色和受众群。

网络新闻层次化，有标题、导语、正文、关键词、背景链接和延伸阅读。

强浏览性，语言注重表达简洁、清晰，对新闻内容按照重要程度排序，重要的内容放在前面，

非重要的放在后面；每段文字表述一个内容，方便受众掌握；精心设计关键词。

4.2评价体系分类

4.2.1评价体系分类依据

针对新闻类别及其特点，人工智能写稿稿件质量评价体系分为报纸新闻稿件质量评价体系、广

播新闻稿件质量评价体系、电视新闻稿件质量评价体系及网络新闻稿件质量评价体系。

4.2.2评价体系构成

四个评价体系中的一级评价指标是各新闻类别的新闻组成结构，二级评价指标是针对相应新闻

组成结构设置的评价指标。

4.2.3评价体系运用

一级评价指标和二级评价指标设有权重系数，利用主观评价方法或客观评价方法对二级指标打

分后，利用评价体系加权汇总得到新闻稿件质量评分。

4.3报纸新闻稿件质量评价体系

报纸新闻稿件质量评价体系如表2所示。

2

T/SDAAI0001—2023

表2报纸新闻稿件质量评价体系

评价对象一级指标二级指标

准确概括主题

标题简洁凝练

表达精准

紧扣主题

导语简洁凝练

选材质量

主题明确

信息完整

报纸新闻层次清晰

稿件质量正文行文流畅

图文相符

图文布局合理

符合新闻内容禁忌规范

紧扣主题

结尾

简洁凝练

与主题相符

背景选材广泛多样

选材质量

4.4广播新闻稿件质量评价体系

广播新闻稿件质量评价体系如表3所示。

表3广播新闻稿件质量评价体系

评价对象一级指标二级指标

短小精悍

导语

言简意赅

广播消息稿件质量

线性结构

主体

符合新闻内容禁忌规范

3

T/SDAAI0001—2023

表3广播新闻稿件质量评价体系（续）

评价对象一级指标二级指标

表达方式多样

广播通讯稿件质量主体

符合新闻内容禁忌规范

广播特写稿件质量主体符合新闻内容禁忌规范

标题用词虚实结合

广播新闻评论稿件质量

主体符合新闻内容禁忌规范

4.5电视新闻稿件质量评价体系

电视新闻稿件质量评价体系如表4所示。

表4电视新闻稿件质量评价体系

评价对象一级指标二级指标

准确概括主题

标题简洁凝练

表达方式多样

简洁凝练

导语

语言通俗

简洁凝练

电视新闻真实准确

稿件质量音视频与文字相符

主体

语言通俗

句式简单

符合新闻内容禁忌规范

结束有力

结尾

概括升华主题

背景与主题相符

4.6网络新闻稿件质量评价体系

4

T/SDAAI0001—2023

网络新闻稿件质量评价体系如表5所示。

表5网络新闻稿件质量评价体系

评价对象一级指标二级指标

标题简洁凝练

与主题相符

导语

简洁凝练

主题明确

信息完整

层次清晰

行文流畅

图片质量

网络新闻

主体图文相符

稿件质量

图文布局合理

视频质量

视频文本相符

视频文本布局合理

符合新闻内容禁忌规范

紧扣主题

结尾

简洁凝练

背景与主题相符

5评价方法

5.1评价方法分类

人工智能写稿稿件质量评价方法分为主观评价方法和客观评价方法。

5.2主观评价方法

5.2.1评价指标及分值

5

T/SDAAI0001—2023

表6主观评价指标及分值

分值

序号评价指标评分要点非常比较基本不符非常

不符

符合符合符合合合

以导语为基础，准确报道新闻的核心

1准确概括主题54321

内容。

标题简短、清晰、精确；导语文字简

洁、交代最主要的事实，报纸新闻导

2简洁凝练54321

语简短一般不超过四行，网络新闻导

语字数不超过150字。

避免产生歧义；避免重复的词语；避

3表达精准免使用俚语；避免简写；包含至少一54321

个动词；一般不用冠词。

与稿件的主题和思路相符；有新闻事

4紧扣主题54321

实或新闻事实中的要点。

5选材质量选择最新鲜、最重要、最有趣的材料。54321

6主题明确围绕一个主题。54321

补充导语中尚未出现的新闻要素，将

导语中高度概括的事实具体化；在导

7信息完整54321

语提到的事实之外，补充暗示性的情

况。

8层次清晰层次分明，逻辑性强。54321

9行文流畅行文流畅，起承转合自然。54321

图片样式、角度、色彩等丰富多样；

图片色彩鲜明，图像清晰，图片纯度

10图片质量高；图片内容丰富多样，重复或相似54321

图片少，所用图片能够从不同角度反

映新闻事实。

11图文相符图片内容与文本内容相符。54321

12图文布局合理图文按表达内容邻近排版。54321

6

T/SDAAI0001—2023

表6主观评价指标及分值（续）

分值

序号评价指标评分要点非常比较基本不符非常

不符

符合符合符合合合

视频内容清晰，明确，无歧义。视频

13视频质量播放流畅，内容连贯，无画面、声音54321

卡顿。

14视频文本相符视频内容与文本内容相符。54321

视频文本布局

15视频文本按表达内容邻近排版。54321

合理

符合新闻内容

16具体见附录。54321

禁忌规范

选取符合新闻事实疑点、读者兴趣、

新闻主题的材料；对新闻事件发生的

17与主题相符54321

历史、环境和原因进行说明。对新闻

事实进行解释补充。

18选材广泛多样选取广泛、多样的背景材料。54321

19短小精悍短小精悍。54321

20言简意赅言简意赅。54321

一维线性结构，围绕主旨将不同时

21线性结构54321

间、空间发生的事情讲清楚。

文体自由，多用描写、议论、抒情等

22表达方式多样54321

手法进行场面和细节刻画。

23用词虚实结合用词虚实结合、写实传神。54321

语言简洁。不用生僻语言,少用专业

术语和书面用语。多用直白口语的短

24语言通俗54321

句。多用通俗易懂的语言，少用书面

语。

25真实准确对电视画面进行准确描述。54321

音视频与文字画面、文字解说、同期声三位一体相

2654321

相符配合。

7

T/SDAAI0001—2023

表6主观评价指标及分值（续）

分值

序号评价指标评分要点非常比较基本不符非常

不符