T/ZSA 165-2023 多源异构数据资源治理可视化开发平台技术要求

ICS35.240

CCSL67

团体标准

T/ZSA165-2023

多源异构数据资源治理可视化开发平台

技术要求

TechnicalRequirementsoftheVisualizationDevelopmentPlatformsfor

Multi-SourceandHeterogeneousDataGovernance

2023-11-10发布2023-11-11实施

中关村标准化协会发布

T/ZSA165-2023

目次

前言.............................................................................II

1范围................................................................................1

2规范性引用文件......................................................................1

3术语和定义..........................................................................1

4缩略语..............................................................................1

5总体要求............................................................................2

5.1概述............................................................................2

5.2支撑层..........................................................................2

5.3资源层..........................................................................2

5.4服务层..........................................................................2

5.5治理层..........................................................................2

5.6各层之间的关系..................................................................3

6平台功能............................................................................3

6.1支撑层..........................................................................3

6.1.1配置管理....................................................................3

6.1.2存储管理....................................................................5

6.2资源层..........................................................................7

6.2.1可视化ETL处理..............................................................7

6.2.2任务调度管理................................................................7

6.3服务层..........................................................................8

6.3.1服务构建....................................................................8

6.3.2服务资源目录................................................................8

6.3.3服务运营....................................................................9

6.3.4服务安全....................................................................9

6.3.5服务评价....................................................................9

6.4治理层.........................................................................10

6.4.1元数据管理.................................................................10

6.4.2数据血缘管理...............................................................10

6.4.3数据资产管理...............................................................11

6.4.4数据分级分类管理...........................................................11

6.4.5数据质量管理...............................................................11

6.4.6标识管理...................................................................12

I

T/ZSA165-2023

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中关村标准化协会技术委员会提出并归口。

本文件起草单位：中关村云平台与数据应用产业联盟、北京锐安科技有限公司、北京明智和术科技

有限公司、北京鼎普科技股份有限公司、拓尔思信息技术股份有限公司、北京启明星辰信息安全技术有

限公司、北京优炫软件股份有限公司、江西诚韬科技有限公司。

本文件主要起草人：汪金苗、万月亮、史延涛、王梅、曹晓飞、孙利宇、王江波、马谅、赵敬宇、

梁星、龚鹏艳。

II

T/ZSA165-2023

多源异构数据资源治理可视化开发平台技术要求

1范围

本标准规定了多源异构数据资源治理可视化开发平台的总体架构、可视化建模、可视化服务构建、

可视化治理工具等内容。

本标准适用于各行业的多源异构数据资源治理业务，满足各行业对多种数据源进行采集、处理、加

工存储等方面的数据治理需求。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T35295-2017信息技术大数据

3术语和定义

GB/T35295-2017界定的以及下列术语和定义适用于本文件。

3.1

算子operator

任务构建的基本单元，通过算子流程设计，编排出完整任务。

3.2

函数function

发生在集合之间的一种对应关系，是字段数据处理单元，通过函数对字段数据进行加工处理。

3.3

策略strategy

对高级业务算子定义各种外围配置的手段和方法，这些配置内容统称为策略。

3.4

桶bucket

数据组织的逻辑管理单元，通过桶定义存储周期，衔接数据集、PaaS类别、具体存储PaaS集群、存

储分层的关系，便于数据的统一管理和分配。

4缩略语

下列缩略语适用于本文件。

ETL：抽取、转换、加载（Extract-Transform-Load）

ES：分布式全文检索引擎（ElasticSearch）

HDFS：分布式文件系统（HadoopDistributedFileSystem）

IMEI：国际移动设备识别码（InternationalMobileEquipmentIdentity）

IMSI：国际移动用户识别码（InternationalMobileSubscriberIdentity）

1

T/ZSA165-2023

MPP：大规模并行处理（MassivelyParallelProcessing）

5总体要求

5.1概述

多源异构数据资源治理可视化开发平台包括支撑层、资源层、服务层、治理层，如图1所示。

图1平台总体架构图

5.2支撑层

为多源异构数据资源治理可视化开发平台提供各种支撑功能和保障，同时肩负平台的动态扩展、灵

活适配的框架管理。

5.3资源层

在工作台实现多源异构数据资源治理的规则构建，并按照治理规则去执行。工作台提供图形化操作

界面，对于传统的脚本结构提供新的层次化、可视化的表达方式，能够更为清晰的显示数据加工的脉络

关系，真正实现“零”编码。

5.4服务层

实现各类服务资源的集中统一管理，支持用户自定义构建服务和服务使用申请，并对服务的效能进

行量化的运营评估，解决“服务怎么来”、“服务怎么建”、“服务怎么管”、“服务怎么好用”等一

系列问题，为用户提供一站式的服务资源运营平台。

5.5治理层

对数据资源全生命周期进行规划设计、过程控制和质量监督。通过规范化的数据治理，实现数据资

源的透明、可管、可控，厘清数据资产、完善数据标准落地、规范数据处理流程、提升数据质量、保障

数据安全使用、促进数据流通与价值提炼。

2

T/ZSA165-2023

5.6各层之间的关系

支撑层主要是给治理层、资源层和服务层提供基础支撑保障。治理层主要是对资源层进行监控和管

理，同时通过服务层对外提供服务。资源层通过支撑层提供的支撑和治理层的监管，完成对数据的治理，

并将治理成果，通过服务层对外提供服务。服务层通过资源层和治理层提供的服务能力，对外提供数据

服务。

6平台功能

6.1支撑层

6.1.1配置管理

6.1.1.1算子管理

算子管理模块提供算子的管理功能，针对用户特殊的应用场景，在系统中内置丰富的算子，实现个

性化的数据处理需求。算子包括输入类型算子、处理类型算子和输出类型算子。

a)支持算子基本管理功能，包括但不限于：新增、删除、查询等。

b)支持输入类型算子，能够实现各类数据库存储的来源表接入，包括但不限于：

1)ES输入算子，提供从ES中抽取数据的功能，支持离线任务类型；

2)Mysql输入算子，提供从Mysql中抽取数据的功能，支持离线任务类型；

3)kafka输入算子，提供从kaf