DB3301/T 0364.1-2022 公共数据质量治理 第1部分:体系架构
DB3301/T 0364.1-2022 Public data quality governance Part 1: Architecture
基本信息
发布历史
-
2022年04月
研制信息
- 起草单位:
- 杭州市萧山区数据资源管理局、杭州市数据资源管理局、杭州市标准化研究院、浙江鸿程计算机系统有限公司、浙江城云数字科技有限公司
- 起草人:
- 刘诚征、李鹏、孙茂阳、左爱兵、施列松、潘依婷、季海琦、王纪东、冯晨、付静、姚芳。
- 出版信息:
- 页数:27页 | 字数:- | 开本: -
内容描述
ICS35.080
CCSL77
3301
浙江省杭州市地方标准
DB3301/T0364.1—2022
公共数据质量治理第1部分:体系架构
2022-04-30发布2022-05-30实施
杭州市市场监督管理局 发布
DB3301/T0364.1—2022
目次
前言.......................................................................................................................................................................II
引言.....................................................................................................................................................................III
1范围...................................................................................................................................................................1
2规范性引用文件...............................................................................................................................................1
3术语和定义.......................................................................................................................................................1
4公共数据质量治理架构...................................................................................................................................1
5治理能力体系...................................................................................................................................................2
6生命周期治理体系...........................................................................................................................................4
7治理评价体系.................................................................................................................................................10
附录A(规范性)公共数据质量治理通用格式规范...................................................................................11
附录B(资料性)公共数据质量治理参考评价指标体系...........................................................................21
I
DB3301/T0364.1—2022
前言
本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
本文件DB3301/T0364—2022《公共数据质量治理》拟分为如下几个部分:
——第1部分:体系架构;
——第2部分:实施指南;
——第3部分:绩效评价。
本部分为DB3301/T0364—2022的第1部分。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这专利的责任。
本文件由杭州市数据资源管理局提出并归口。
本文件起草单位:杭州市萧山区数据资源管理局、杭州市数据资源管理局、杭州市标准化研究院、
浙江鸿程计算机系统有限公司、浙江城云数字科技有限公司。
本文件主要起草人:刘诚征、李鹏、孙茂阳、左爱兵、施列松、潘依婷、季海琦、王纪东、冯晨、
付静、姚芳。
II
DB3301/T0364.1—2022
引言
数字化改革中产生的公共数据质量参差不齐,造成数据共享应用效率低、成本高。在公共数据生命
周期中,应建立公共数据质量治理体系,提升源头数据质量,提升交换共享数据质量,规范公共数据质
量治理制度、工作流程和评价办法,加强数据可用性和可靠性,发挥公共数据要素在政府治理和服务中
的价值。
DB3301/T0364《公共数据质量治理》旨在指导公共数据主管单位、提供单位、使用单位建立质量
治理能力、规范治理过程、评价治理成效,拟由三个部分构成。
——第1部分:体系架构。目的在于规范治理活动实施前的体系建设。
——第2部分:实施指南。目的在于规范治理活动实施中的技术要求。
——第3部分:绩效评价。目的在于规范治理活动实施后的评价程序。
III
DB3301/T0364.1—2022
公共数据质量治理第1部分:体系架构
1范围
本文件规定了公共数据质量治理架构、治理能力体系、生命周期治理体系、治理评价体系的要求。
本文件适用于公共数据质量治理。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,
仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
文件。
DB33/T2350数字化改革术语定义
3术语和定义
DB33/T2350界定的以及下列术语和定义适用于本文件。
公共数据质量
满足公共数据管理需求的程度。
公共数据质量治理
提升公共数据质量过程中能力建设、问题发现、数据整改、绩效评价等活动的集合。
公共数据生命周期
公共数据从产生、归集、存储、共享、开放、应用和销毁等数据所历经的全链路过程。
4公共数据质量治理架构
公共数据质量治理体系
公共数据质量治理体系包括:
a)治理能力体系。治理能力体系明确了主管单位、提供单位、使用单位在公共数据质量治理中
应具备的能力,包括组织保障、制度规范、技术工具、人员能力;
b)生命周期治理体系。生命周期治理体系按照公共数据生命周期实施治理工作,包括产生、归
集、存储、共享、开放、应用、销毁等七个阶段;
c)治理评价体系。治理评价体系按照公共数据质量治理成效分为五级,包括1级(非正式治理)、
2级(计划治理)、3级(充分治理)、4级(量化评价)、5级(持续优化)。
公共数据质量治理体系架构图
1
DB3301/T0364.1—2022
公共数据质量治理体系架构见图1。
图1公共数据质量治理体系架构
5治理能力体系
组织保障
应建立公共数据质量治理组织,设立公共数据质量治理决策议事协调机构。
制度规范
应建立公共数据质量治理管理制度和工作细则。
技术工具
5.3.1技术工具功能模块
技术工具功能模块包括不限于治理规则管理、治理任务管理、问题数据管理、知识库管理、质量监
控与评价。技术工具功能模块见图2。
2
DB3301/T0364.1—2022
图2技术工具功能模块
5.3.2治理规则管理功能
治理规则管理包括以下功能:
a)治理规则定义:定义完整性、唯一性、精确性、一致性、及时性等数据质量治理规则;
b)治理规则维护:实现规则的新增、删除、修改、发布等操作。
5.3.3治理任务管理功能
治理任务管理包括以下功能:
a)治理任务配置:将治理规则根据业务需要创建成相应的治理任务,对治理任务进行新增、删
除、修改、发布等操作,发布成功后方可进行任务执行;
b)治理任务调度:对发布的任务按照调度时间、触发方式等调度策略进行智能统一调度;
c)治理任务监控:监控任务调度的执行情况和执行状态,对异常情况进行告警、对运行错误进
行反馈。
5.3.4问题数据管理功能
问题数据管理包括以下功能:
a)问题登记研判:登记研判发现的问题,形成问题整改责任工单,研判后进行问题分类汇总;
b)问题处理:处理问题整改责任工单,问题发现者对工单进行指派,问题处理者对工单进行处
理;
c)问题审核:审核处理完的问题整改责任工单,审核通过后方可进行归档,审核不通过进行再
次问题处理流程直至审核通过;
d)问题归档:归档审核后的质量问题,对质量问题进行分类汇总。
5.3.5知识库管理功能
知识库管理包括以下功能:
a)问题归档转知识库:将重复性、普遍性等典型问题归档转入知识库,作为问题解决方法和问
题分析的参考;
b)知识库管理维护:实现知识库的新增、删除、修改、查询等维护操作。
5.3.6质量监控与评价功能
3
DB3301/T0364.1—2022
质量监控与评价包括以下功能:
a)报告生成:从完整性、唯一性、精确性、一致性、及时性等维度自动生成公共数据质量报告;
b)质量评价:定义和维护公共数据质量评价模型,管理维度和权重,对相关单位数据质量进行
评价和排名;
c)绩效考核:定义和维护质量绩效考核规范,生成质量绩效报告,支持多种方式进行报告传递。
人员能力
应建立专业的数据质量治理技术团队,掌握公共数据格式规范和治理工具操作能力。
6生命周期治理体系
数据产生阶段
6.1.1公共数据产生阶段质量治理流程见图3。
图3公共数据产生阶段质量治理流程
6.1.2治理方法公共数据产生阶段质量治理应包括以下方法:
4
DB3301/T0364.1—2022
a)业务人员与技术人员协商设置业务验证规则,逐步积累形成公共数据质量规范知识库;
b)应用系统添加规则验证,包括非空验证、值域验证、唯一性验证;
c)定期实施质量核查,包括完整性、唯一性、精确性、一致性、及时性核查。
数据归集阶段
6.2.1公共数据归集阶段质量治理流程见图4。
图4公共数据归集阶段质量治理流程
6.2.2公共数据归集阶段质量治理包括以下方法:
a)数据提供单位制定业务数据质量规则;
5
DB3301/T0364.1—2022
b)数据主管单位确认数据质量业务格式规范,公共数据质量治理的通用格式按照附录A的要求
实施;
c)归集数据过程开展数据核查,形成问题数据库,并以数据质量核查报告的形式反馈至提供单
位;
d)数据提供单位进行数据治理,并重新实施归集操作;
e)数据主管单位重新开展数据质量核查,确认无误后入库。
数据存储阶段
6.3.1公共数据存储阶段质量治理流程见图5。
图5公共数据存储阶段质量治理流程
6.3.2公共数据存储阶段质量治理包括以下方法:
a)数据主管单位制定数据分层分域质量格式规范,公共数据质量治理的通用格式按照附录A的
要求实施;
b)数据主管单位利用一体化智能化公共数据平台实施数据质量核查,形成问题数据库和质量报
告;
c)数据提供单位按照数据治理质量报告实施数据治理,实施二次数据归集;
d)数据主管单位重新开展数据质量核查,确认无误后入库。
6
DB3301/T0364.1—2022
数据共享阶段
6.4.1公共数据共享阶段质量治理流程见图6。
图6公共数据共享阶段质量治理流程
6.4.2公共数据共享阶段质量治理包括以下方法:
a)数据使用单位反馈不符合业务需求的数据;
b)数据主管单位再现使用场景,研判是否需要开展数据质量治理;
c)数据主管单位开展数据溯源,实施数据质量核查,形成问题数据库和质量报告;
d)数据提供单位按照数据治理质量报告实施数据治理,实施二次数据归集;
e)数据主管单位跟踪确认数据质量治理结果,同步至使用单位;
f)数据使用单位确认数据治理结果,评价反馈治理成效。
7
DB3301/T0364.1—2022
数据开放阶段
6.5.1公共数据开放阶段质量治理流程见图7。
图7公共数据开放阶段质量治理流程
6.5.2公共数据开放阶段质量治理包括以下方法:
a)社会公众反馈不符合业务需求的数据;
b)数据主管单位再现使用场景,研判是否需要开展数据质量治理;
c)数据主管单位开展数据溯源,实施数据质量核查,形成问题数据库和质量报告;
d)数据提供单位按照数据治理质量报告实施数据治理,实施二次数据归集;
e)数据主管单位跟踪确认数据质量治理结果,同步至使用单位;
f)数据使用单位确认数据治理结果,评价反馈治理成效。
数据应用阶段
6.6.1公共数据应用阶段质量治理流程见图8。
8
DB3301/T0364.1—2022
图8公共数据应用阶段质量治理流程
6.6.2公共数据应用阶段质量治理包括以下方法:
a)数据主管单位应用管理团队反馈构建创新应用时发现的质量问题;
b)数据主管单位数据管理团队再现应用场景,研判是否需要开展数据质量治理;
c)数据主管单位数据管理团队开展数据溯源,实施数据质量核查,形成问题数据库和质量报告;
d)若为存储数据治理问题,数据主管单位数据管理团队实施存储数据治理,并发布数据治理信
息,包括数据来源、治理原因、治理结果、影响范围等;
e)若需数据提供单位治理,提供单位按照数据治理质量报告实施数据治理,实施二次数据归集;
f)数据主管单位应用管理团队跟踪确认数据质量治理结果,评价反馈治理成效。
数据销毁阶段
6.7.1公共数据销毁阶段质量治理流程见图9。
9
DB3301/T0364.1—2022
图9公共数据销毁阶段质量治理流程
6.7.2公共数据销毁阶段质量治理包括以下方法:
a)确认数据销毁方式,包括逻辑销毁和物理销毁;
b)确认数据销毁范围,包括被销毁数据和血缘关联数据;
c)实施逻辑销毁或物理销毁;
d)实施质量核查,包括一致性、及时性核查。
7治理评价体系
公共数据质量治理评价维度应从能力建设、质量评估、治理成效等维度开展公共数据质量治理评
价,评价指标体系见附录B,不对评价计分细则做具体限定。
公共数据质量治理评价等级包括以下五级:
a)1级(非正式治理)。随机、无序开展数据治理,依赖工作人员的经验和自觉性;
b)2级(计划治理)。在自身业务系统中主动实现了数据质量治理,但未形成体系化;
c)3级(充分治理)。形成了完善的治理体系,在跨系统协同中实现了数据质量治理;
d)4级(量化评价)。建立了量化目标,数据质量治理情况独立量化;
e)5级(持续优化)。不断改进优化治理体系,形成范式,持续输出治理成果。
10
DB3301/T0364.1—2022
A
A
附录A
(规范性)
公共数据质量治理通用格式规范
表A.1给出公共数据的通用字段规范要求和格式要求。
表A.1公共数据质量治理通用格式规范表
信息项字段名称字段规范要求字段格式要求
a)必填字段
身份证件类型C2
b)需编写身份证件类型代码表
身份证件号码a)必填字段C..100
证件有效期起始a)非必填字段
YYYY-MM-DD
日期b)证件有效期起始日期不得早于自然人出生日期
证件有效期截止a)非必填字段
YYYY-MM-DD
日期b)证件有效期截止日期不得早于证件有效期起始日期。
a)必填字段
b)姓名中不能存有空格、特殊字符、数字和TAB键
姓名C..100
c)外国人姓名翻译成中文后以·(中文半角状态)来连接,
英文名以空格连接
a)非必填字段
b)姓名中不能存有空格、特殊字符、数字和TAB键。
曾用名C..100
b)外国人姓名翻译成中文后以·(中文半角状态)来连接,
自然人基本信息
英文名以空格连接。
a)必填字段
性别C1
b)字段值域需参考GB/T2261.1规范
出生日期a)必填字段YYYY-MM-DD
a)必填字段
民族C2
b)字段值域需参考GB/T3304规范
a)必填字段
国籍C3
b)字段值域需参考GB/T2659规范
出生地国家和地a)非必填字段
C3
区b)字段值域需参考GB/T2659规范
a)非必填字段
出生地省市县C6
b)字段值域需参考GB/T2660规范
a)必填字段
政治面貌C2
b)字段值域需参考GB/T4762规范
a)非必填字段
健康状况C1
b)字段值域需参考GB/T2261.3规范
自然人生理体征
a)非必填字段
血型C2
b)字段值域需参考GB/T2000.37规范
11
DB3301/T0364.1—2022
表A.1公共数据质量治理通用格式规范表(续)
信息项字段名称字段规范要求字段格式要求
照片路径a)非必填字段C..512
自然人生理体征体重a)非必填字段N..5,2
身高a)非必填字段N..4,1
a)必填字段
b)统一籍贯精确到区(县),如XX省(自治区、直辖市)
籍贯C..100
XX市(自治州)XX县(区)
c)籍贯中不能存有空格、特殊字符、数字和TAB键
户籍信息
a)非必填字段
户口类别C1
b)字段值域需参考GB/T2000.27规范
a)非必填字段
户籍所在地C..200
b)字段值域需参考GB/T23705规范
a)必填字段
婚姻信息
定制服务
推荐标准
- HB 5960-1986 尼龙嵌件六角凸缘锁紧螺母 1986-04-14
- SJ/T 9508.7-1993 30MHz~1GHz声音和电视信号的电缆分配系统 天线放大器质量分等标准 1993-03-29
- HG 21537.1-1992 碳钢填料箱(PN0.6)(附编制说明) 1993-06-14
- HB/Z 227.11-1992 机载设备制造工艺工作导则 工艺纪律 1993-02-22
- JB/T 7531-1994 旋压件设计规范 1994-12-09
- SHS 04551-2004 1433-Z06丝束冷却机维护检修规程 2004-06-21
- HB 5038-1992 镍镀层质量检验 1992-10-04
- HG/T 20703.1-2000 材料专业职责范围与设计各阶段的任务 2000-11-22
- HB 2838-1976 快换夹头 d=18~60 1978-05-24
- QB/T 2204-1996 水彩画纸 1996-03-22