DB33/T 1354.1-2024 产业数据仓 第1部分:总体框架和要求

DB33/T 1354.1-2024 Industrial Data Warehouse, Part 1: Overall Framework and Requirements

浙江省地方标准 简体中文 现行 页数:20页 | 格式:PDF

基本信息

标准号
DB33/T 1354.1-2024
标准类型
浙江省地方标准
标准状态
现行
中国标准分类号(CCS)
国际标准分类号(ICS)
发布日期
2024-01-04
实施日期
2024-02-04
发布单位/组织
浙江省市场监督管理局
归口单位
-
适用范围
-

发布历史

研制信息

起草单位:
起草人:
出版信息:
页数:20页 | 字数:- | 开本: -

内容描述

ICS35.240.01

CCSL67

33

浙江省地方标准

DB33/T1354.1—2024

产业数据仓

第1部分:总体框架和要求

Industrydatawarehouse—

Part1:Generalframeworkandtechnicalrequirements

2024-01-04发布2024-02-04实施

浙江省市场监督管理局  发布

DB33/T1354.1—2024

目次

前言..................................................................................II

1范围................................................................................1

2规范性引用文件......................................................................1

3术语和定义..........................................................................1

4缩略语..............................................................................1

5总体框架............................................................................2

5.1逻辑架构........................................................................2

5.2技术架构........................................................................2

6能力要求............................................................................3

6.1数据资源编目....................................................................3

6.2数据采集........................................................................4

6.3数据交换共享....................................................................4

6.4数据治理........................................................................4

6.5数据融合........................................................................5

6.6数据存储........................................................................5

6.7数据管理........................................................................5

6.8数据质量评价....................................................................6

7服务要求............................................................................6

7.1产业主题库......................................................................6

7.2产业专题库......................................................................8

8对接要求............................................................................8

8.1数据目录对接....................................................................8

8.2用户体系对接....................................................................9

8.3系统日志对接....................................................................9

8.4功能模块对接....................................................................9

9安全体系建设........................................................................9

9.1总体要求........................................................................9

9.2数据分类分级要求................................................................9

9.3系统管理........................................................................9

9.4数据运维安全要求...............................................................10

附录A(资料性)各级各类数仓建设内容参考.............................................11

附录B(资料性)产业数据仓数据分层架构参考...........................................12

附录C(资料性)业务专题库建设示例(企业诉求专题库).................................13

附录D(资料性)行业专题库建设示例(化工行业专题库).................................15

I

DB33/T1354.1—2024

前言

本部分按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定

起草。

本部分是DB33/T1354的第1部分。DB33/T1354《产业数据仓》已经发布了以下部分:

——第1部分:总体框架和要求。

——第2部分:数据资源编目规范。

请注意本部分的某些内容可能涉及专利。本部分的发布机构不承担识别专利的责任。

本部分由浙江省经济和信息化厅提出、归口并组织实施。

本部分起草单位:浙江省数字经济发展中心、浙江省电子信息产品检验研究院、浙江经信信息技术

中心有限公司、杭州数梦工场科技有限公司、杭州数政科技有限公司、浙江省智慧城市促进会。

本部分主要起草人:张君、田燕翔、陆澄澹、汪越、李晓波、季永炜、徐强、念灿华、王宁、胡光

剑、廖文睿、黄益超。

II

DB33/T1354.1—2024

产业数据仓

第1部分:总体框架和要求

1范围

本部分规定了产业数据仓的总体框架、能力要求、服务要求、对接要求、安全体系建设等内容。

本部分适用于行政产业数据仓、行业数据仓和企业数据仓的规划建设。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本部分必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本部分;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

部分。

GB/T22239—2019信息安全技术网络安全等级保护基本要求

3术语和定义

下列术语和定义适用于本部分。

3.1

数据仓datawarehouse

业务过程中收集、产生的,随时间动态更新,信息类型、格式等相对稳定的各类公共数据资源集合。

[来源:DB33/T2350—2022,3.2.3.9]

3.2

产业数据仓industrydatawarehouse

有效开展各种经济活动的实体在组织生产、经营或业务活动的过程中收集、产生的,随时间动态更

新,信息类型、格式等相对稳定的各类数据资源集合。

3.3

数据治理datagovernance

对数据进行处置、格式化和规范化的过程。

注1:数据治理是数据和数据系统管理的基本要素。

注2:数据治理涉及数据全生存周期管理,无论数据是处于静态、动态、未完成状态还是交易状态。

[来源:GB/T35295—2017,2.1.43]

3.4

数据融合datafusion

基于一组或多组数据,通过一定的处理过程以获得新的或更高质量信息的过程。

[来源:GB/T33745—2017,2.5.6]

4缩略语

下列缩略语适用于本部分。

1

DB33/T1354.1—2024

API:应用程序编程接口(ApplicationProgrammingInterface)

ETL:业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程(Extract-Transform-Load)

5总体框架

5.1逻辑架构

产业数据仓是由行政产业数据仓(以下简称“行政数仓”)、行业数据仓(以下简称“行业数仓”)、

企业数据仓(以下简称“企业数仓”)构成的逻辑集合。政企两侧数据仓之间宜以应用需求为导向,通

过数据安全传输通道开展数据治理与融合加工,使数据资源发挥更大价值。产业数据仓逻辑架构见图1。

具体如下:

a)行政数仓:依托政务云资源,实现政府侧产业数据的统一管理,可分省市两级节点或省市县

三级节点;汇聚政府侧相关应用系统共享的产业数据,并按需采集行业和企业自愿授权公开

的产业相关数据;

b)行业数仓:以特定组织为主体建设运营,实现本行业的数据采集、治理和融合应用;汇聚本

行业范围内企业基本信息数据、产业链节点数据、产品库数据、供应链数据、政府部门授权

开放的公共数据、第三方数据服务机构数据等;

c)企业数仓:以企业为主体建设运营,实现企业内的数据采集治理、融合分析、挖掘应用;汇

聚企业自身采购、生产、经营等相关数据及行业产业链上下游业务数据,并可按需向行业数

仓申请可共享数据。

图1产业数据仓逻辑架构图

5.2技术架构

2

DB33/T1354.1—2024

产业数据仓基于网络资源、算力资源和感知资源等基础设施服务,构建数据支撑层、数据能力层、

数据服务层,为各类应用场景提供服务支撑。产业数据仓技术架构见图2,具体如下:

a)数据支撑层:数据支撑层由各种途径采集汇聚形成的不同结构的数据源组成,按产业结构分

类分为工业数据、农业数据、服务业数据,按数据来源分为政府侧数据、行业侧数据、企业

数据、第三方数据服务机构数据等;

b)数据能力层:数据能力层是支撑产业数据处理的核心层,可具备数据采集、传输、存储、处

理、交换、销毁等数据生命周期各阶段的支撑能力,包括数据资源编目、数据采集、数据交

换共享、数据治理、数据融合、数据存储、数据管理、数据质量评价等功能;

c)数据服务层:数据服务层是基于数据仓汇聚的原始数据,通过数据治理、融合,构建形成主

题库和专题库等,同时汇聚各类知识、规则、模型、算法,为各类应用场景提供服务支撑。

各级数仓建设内容参考相关示例见附录A,产业数据仓数据分层架构相关示例见附录B。

图2产业数据仓技术架构图

6能力要求

6.1数据资源编目

产业数据仓可具备数据资源编目功能,实现数据资源目录编制与管理,构建数据仓内的数据表与目

录的对应关系,实现信息资源一本总账,为产业大脑、数字经济门户及各业务系统等提供信息资源清单。

3

DB33/T1354.1—2024

数据资源编目可具备应用系统注册、目录编制、目录审核与发布、资源挂载、目录查询、目录变更

与停用等功能,并构建产业数据资源标识符编码规则,进行统一编码。信息资源目录的内容包括但不限

于信息资源的名称、数源单位、数据分类、数据格式、更新频率、重点领域分类、行业分类、行业代码、

行业内企业共享属性、跨行业企业共享属性、政府侧共享属性、数据安全级别、开放属性及数据项等元

数据信息。

6.2数据采集

产业数据仓应具备数据采集功能,从不同结构的数据源中抽取数据,经过数据转换,加载到目标数

据库,满足完整性、有效性、及时性、稳定性的要求。

数据采集应支持ETL的全过程管理,具备数据源管理、数据抽取、数据转换、采集任务调度、元数

据管理、采集监控、数据稽查、日志审计等功能;可支持关系型数据库、半结构化数据、分布式文件数

据、对象存储、流式数据、时序数据库、分析型数据库等多种类型数据源的采集。

6.3数据交换共享

6.3.1概述

产业数据仓应具备数据交换共享功能,通过构建覆盖多级政务部门间、企业侧各主体间的数据交换

体系,实现异构应用系统间松耦合的数据交换共享,满足政企两侧的数据融合需要;涉及跨网的数据交

互,应满足第9章安全体系建设要求。数据交换共享应支持但不限于以下方式:库表数据交换、接口数

据交换、文件数据交换等。

6.3.2库表数据交换

库表数据交换应由交换桥接、前置交换、交换传输、交换管理等组成,通过交换桥接将需要交换的

信息交换到前置数据库,在交换管理的流程控制下,通过交换传输、前置交换,把需要交换的信息定向

传输到接收单位。

6

定制服务