DB15/T 1873-2020 大数据平台 数据接入质量规范

ICS35.020

L70

DB15

内蒙古自治区地方标准

DB15/T1873—2020

大数据平台数据接入质量规范

Dataaccessqualityspecificationforbigdataplatform

2020-04-03发布2020-05-03实施

内蒙古自治区市场监督管理局发布

DB15/T1873—2020

目次

前言..................................................................................II

1范围.................................................................................1

2规范性引用文件.......................................................................1

3术语和定义...........................................................................1

4概述.................................................................................2

5数据质量评价维度.....................................................................2

6数据接入质量技术要求.................................................................3

7数据质量评分方法.....................................................................8

附录A（资料附录）数据质量评价维度.....................................................10

I

DB15/T1873—2020

前言

本标准按照GB/T1.1—2009给出的规则起草。

本标准由内蒙古自治区大数据发展管理局提出。

本标准由内蒙古自治区大数据发展管理局归口。

本标准起草单位：内蒙古自治区大数据发展管理局、新华三技术有限公司、中国电子技术标准化研

究院、内蒙古自治区大数据与云计算标准化委员会、内蒙古自治区标准化院、内蒙古银保监局、内蒙古

自治区地图院、内蒙古自治区电子信息产品质量检验院、内蒙古大学、浪潮软件集团有限公司、内蒙古

跃晨科技有限公司、北京东方金信科技有限公司、北京东方国信科技股份有限公司、天帆创新（北京）

科技发展有限公司、同方知网（北京）技术有限公司、内蒙古纵横云技术有限公司。

本标准主要起草人：张建军、崔连伟、孙卫、石彦龙、周佳琪、李向前、石建军、巩韶飞、顾君、

武茂春、卫凤林、马学彬、徐小强、万磊、张晓磊、王楠、李建文、刘玉坤、冯国忠。

II

DB15/T1873—2020

大数据平台数据接入质量规范

1范围

本标准规定了大数据平台数据接入过程中数据质量保障的规范及技术要求。

本标准适用于内蒙古自治区各数据提供单位接入大数据平台过程中的数据质量保障工作。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件；

GB/T5271.1信息技术词汇第1部分：基本术语

GB/T36344信息技术数据质量评价指标

3术语和定义

GB/T5271.1、GB/T36344和SY/T6227-2005界定的术语和定义适用于本文件。为了便于使用，以

下重复列出以上标准的一些术语和定义。

3.1

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

注：可以通过人工或自动手段处理数据。

[GB/T5271.1-2000，定义01.01.02]

3.2

元数据metadata

关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权限

和数据易变性的数据。

[GB/T5271.1-2000，定义17.06.05]

3.3

数据质量dataquality

在指定条件下使用时，数据的特性满足明确的和隐含的要求程度。

[GB/T36344-2018，定义2.3]

1

DB15/T1873—2020

3.4

原始数据rawdata

终端用户所存储使用的各种未经过处理或简化的数据。

注：原始数据有多种存在形式，如文本数据、图像数据、音频数据或者几种数据混合存在。

[GB/T36344-2018，定义2.4]

3.5

数据生命周期datalifecycle

将原始数据转化为可用于行动的知识的一组过程。

[GB/T36344-2018，定义2.5]

3.6

数据集dataset

具有一定主题，可以标识并可以被计算机化处理的数据集合。

[GB/T36344-2018，定义2.6]

3.7

数据标准datastandard

数据的命名、定义、结构和取值规范方面的规则和基准。

[GB/T36344-2018，定义2.8]

3.8

检核任务inspectiontask

数据核查的最小调度单位。

4概述

大数据平台支持结构化数据、半结构化数据和非结构化数据等异构数据源采集数据，实现各类离线

数据、实时数据的采集与接入。针对大数据平台的数据接入，执行相应的质量评价标准，保证数据质量，

为各数据使用单位提供优质的数据服务。

5数据质量评价维度

数据质量是保证数据应用和提供优质数据服务的基础，数据质量的评估标准主要包括八个维度：完

整性、规范性、一致性、准确性、唯一性、关联性、时效性、可访问性，本标准从以上八个维度评价数

据质量，详细请参考附录A。

2

DB15/T1873—2020

6数据接入质量技术要求

大数据平台为了保障数据质量，须从四个层面进行数据质量控制，数据标准体系质量控制、数据采

集质量控制、数据存储质量控制、数据使用质量控制进行全流程数据质量管控。数据接入质量整体框架

图见图1：

检核方案创建数据监控

标准制定数据采集

检核任务创建

血缘分析

标准执行质量检核

检核任务调度系统审计

标准维护数据缓冲区

检核日志问题告警

标准监控数据标准层

数据质量报告资产管控

数据标准体系质量控制数据采集质量控制数据存储质量控制数据使用质量控制

图1整体流程图6.1数据标准体系质量控制

6.1.1数据标准制定

数据标准的制定按照数据标准管理的业务分类和定义规范指导要求，基于行业数据管控需求，进行

数据标准规范的制定,要求大数据平台按照该标准规范进行统一的数据管理。

数据标准制定包括数据标准的编制、数据标准的审核、数据标准的发布。数据标准化管理组织将数

据标准以正式发文的方式在内部进行发布，并在发布后将数据标准、版本说明保存备案。最终将发布的

数据标准更新至数据标准管理模块中，数据标准制定流程见图2：

3

DB15/T1873—2020

数据标准编制数据标准审查数据标准发布

数据标数据标准送

准管理审稿征求意

决策者见

数据标数据标准属

准管理性收集整理数据标准变数据标准、

组织协更版本发布

调者

数据标准

初稿

数据标

准管理提供数据属

执行者性信息

图2数据标准制定流程

数据标准制定流程描述如下：

a)数据标准管理组织协调者组织数据提供者和执行者参与数据标准属性的收集和整理工作，并按

照协商一致的原则形成数据标准初稿；

b)数据标准初稿进行多次的讨论和丰富后，形成数据标准送审稿提交给数据标准管理决策者；

c)经过数据标准管理决策者的讨论审核后，由数据标准管理组织协调者再次进行数据标准的修改

完善，并完成数据标准的发布。

6.1.2数据标准执行

数据标准管理执行流程见图3。

数据标

准管理标准执行效

决策者果

数据标

准管理数据标准发数据标准录数据标准监

组织协布入控

调者

数据标数据标准执

制定数据标数据质量管

准管理行结果

执行者准接口理

图3数据标准执行流程

4

DB15/T1873—2020

数据标准执行的流程步骤描述如下：

a)数据标准制定发布后，将数据标准录入到数据标准管理模块；

b)数据标准管理执行者按照发布的数据标准，制定和发布数据标准接口；

c)数据标准管理模块将标准要求提供给数据质量管理，根据已录入系统的数据标准形成稽查规则，

对数据标准管理执行者制定和发布的数