DB33/T 1354.1-2024 产业数据仓 第1部分:总体框架和要求
DB33/T 1354.1-2024 Industrial Data Warehouse, Part 1: Overall Framework and Requirements
基本信息
发布历史
-
2024年01月
研制信息
- 起草单位:
- 起草人:
- 出版信息:
- 页数:20页 | 字数:- | 开本: -
内容描述
ICS35.240.01
CCSL67
33
浙江省地方标准
DB33/T1354.1—2024
产业数据仓
第1部分:总体框架和要求
Industrydatawarehouse—
Part1:Generalframeworkandtechnicalrequirements
2024-01-04发布2024-02-04实施
浙江省市场监督管理局 发布
DB33/T1354.1—2024
目次
前言..................................................................................II
1范围................................................................................1
2规范性引用文件......................................................................1
3术语和定义..........................................................................1
4缩略语..............................................................................1
5总体框架............................................................................2
5.1逻辑架构........................................................................2
5.2技术架构........................................................................2
6能力要求............................................................................3
6.1数据资源编目....................................................................3
6.2数据采集........................................................................4
6.3数据交换共享....................................................................4
6.4数据治理........................................................................4
6.5数据融合........................................................................5
6.6数据存储........................................................................5
6.7数据管理........................................................................5
6.8数据质量评价....................................................................6
7服务要求............................................................................6
7.1产业主题库......................................................................6
7.2产业专题库......................................................................8
8对接要求............................................................................8
8.1数据目录对接....................................................................8
8.2用户体系对接....................................................................9
8.3系统日志对接....................................................................9
8.4功能模块对接....................................................................9
9安全体系建设........................................................................9
9.1总体要求........................................................................9
9.2数据分类分级要求................................................................9
9.3系统管理........................................................................9
9.4数据运维安全要求...............................................................10
附录A(资料性)各级各类数仓建设内容参考.............................................11
附录B(资料性)产业数据仓数据分层架构参考...........................................12
附录C(资料性)业务专题库建设示例(企业诉求专题库).................................13
附录D(资料性)行业专题库建设示例(化工行业专题库).................................15
I
DB33/T1354.1—2024
前言
本部分按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
本部分是DB33/T1354的第1部分。DB33/T1354《产业数据仓》已经发布了以下部分:
——第1部分:总体框架和要求。
——第2部分:数据资源编目规范。
请注意本部分的某些内容可能涉及专利。本部分的发布机构不承担识别专利的责任。
本部分由浙江省经济和信息化厅提出、归口并组织实施。
本部分起草单位:浙江省数字经济发展中心、浙江省电子信息产品检验研究院、浙江经信信息技术
中心有限公司、杭州数梦工场科技有限公司、杭州数政科技有限公司、浙江省智慧城市促进会。
本部分主要起草人:张君、田燕翔、陆澄澹、汪越、李晓波、季永炜、徐强、念灿华、王宁、胡光
剑、廖文睿、黄益超。
II
DB33/T1354.1—2024
产业数据仓
第1部分:总体框架和要求
1范围
本部分规定了产业数据仓的总体框架、能力要求、服务要求、对接要求、安全体系建设等内容。
本部分适用于行政产业数据仓、行业数据仓和企业数据仓的规划建设。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本部分必不可少的条款。其中,注日期的引用文件,
仅该日期对应的版本适用于本部分;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
部分。
GB/T22239—2019信息安全技术网络安全等级保护基本要求
3术语和定义
下列术语和定义适用于本部分。
3.1
数据仓datawarehouse
业务过程中收集、产生的,随时间动态更新,信息类型、格式等相对稳定的各类公共数据资源集合。
[来源:DB33/T2350—2022,3.2.3.9]
3.2
产业数据仓industrydatawarehouse
有效开展各种经济活动的实体在组织生产、经营或业务活动的过程中收集、产生的,随时间动态更
新,信息类型、格式等相对稳定的各类数据资源集合。
3.3
数据治理datagovernance
对数据进行处置、格式化和规范化的过程。
注1:数据治理是数据和数据系统管理的基本要素。
注2:数据治理涉及数据全生存周期管理,无论数据是处于静态、动态、未完成状态还是交易状态。
[来源:GB/T35295—2017,2.1.43]
3.4
数据融合datafusion
基于一组或多组数据,通过一定的处理过程以获得新的或更高质量信息的过程。
[来源:GB/T33745—2017,2.5.6]
4缩略语
下列缩略语适用于本部分。
1
DB33/T1354.1—2024
API:应用程序编程接口(ApplicationProgrammingInterface)
ETL:业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程(Extract-Transform-Load)
5总体框架
5.1逻辑架构
产业数据仓是由行政产业数据仓(以下简称“行政数仓”)、行业数据仓(以下简称“行业数仓”)、
企业数据仓(以下简称“企业数仓”)构成的逻辑集合。政企两侧数据仓之间宜以应用需求为导向,通
过数据安全传输通道开展数据治理与融合加工,使数据资源发挥更大价值。产业数据仓逻辑架构见图1。
具体如下:
a)行政数仓:依托政务云资源,实现政府侧产业数据的统一管理,可分省市两级节点或省市县
三级节点;汇聚政府侧相关应用系统共享的产业数据,并按需采集行业和企业自愿授权公开
的产业相关数据;
b)行业数仓:以特定组织为主体建设运营,实现本行业的数据采集、治理和融合应用;汇聚本
行业范围内企业基本信息数据、产业链节点数据、产品库数据、供应链数据、政府部门授权
开放的公共数据、第三方数据服务机构数据等;
c)企业数仓:以企业为主体建设运营,实现企业内的数据采集治理、融合分析、挖掘应用;汇
聚企业自身采购、生产、经营等相关数据及行业产业链上下游业务数据,并可按需向行业数
仓申请可共享数据。
图1产业数据仓逻辑架构图
5.2技术架构
2
DB33/T1354.1—2024
产业数据仓基于网络资源、算力资源和感知资源等基础设施服务,构建数据支撑层、数据能力层、
数据服务层,为各类应用场景提供服务支撑。产业数据仓技术架构见图2,具体如下:
a)数据支撑层:数据支撑层由各种途径采集汇聚形成的不同结构的数据源组成,按产业结构分
类分为工业数据、农业数据、服务业数据,按数据来源分为政府侧数据、行业侧数据、企业
数据、第三方数据服务机构数据等;
b)数据能力层:数据能力层是支撑产业数据处理的核心层,可具备数据采集、传输、存储、处
理、交换、销毁等数据生命周期各阶段的支撑能力,包括数据资源编目、数据采集、数据交
换共享、数据治理、数据融合、数据存储、数据管理、数据质量评价等功能;
c)数据服务层:数据服务层是基于数据仓汇聚的原始数据,通过数据治理、融合,构建形成主
题库和专题库等,同时汇聚各类知识、规则、模型、算法,为各类应用场景提供服务支撑。
各级数仓建设内容参考相关示例见附录A,产业数据仓数据分层架构相关示例见附录B。
图2产业数据仓技术架构图
6能力要求
6.1数据资源编目
产业数据仓可具备数据资源编目功能,实现数据资源目录编制与管理,构建数据仓内的数据表与目
录的对应关系,实现信息资源一本总账,为产业大脑、数字经济门户及各业务系统等提供信息资源清单。
3
DB33/T1354.1—2024
数据资源编目可具备应用系统注册、目录编制、目录审核与发布、资源挂载、目录查询、目录变更
与停用等功能,并构建产业数据资源标识符编码规则,进行统一编码。信息资源目录的内容包括但不限
于信息资源的名称、数源单位、数据分类、数据格式、更新频率、重点领域分类、行业分类、行业代码、
行业内企业共享属性、跨行业企业共享属性、政府侧共享属性、数据安全级别、开放属性及数据项等元
数据信息。
6.2数据采集
产业数据仓应具备数据采集功能,从不同结构的数据源中抽取数据,经过数据转换,加载到目标数
据库,满足完整性、有效性、及时性、稳定性的要求。
数据采集应支持ETL的全过程管理,具备数据源管理、数据抽取、数据转换、采集任务调度、元数
据管理、采集监控、数据稽查、日志审计等功能;可支持关系型数据库、半结构化数据、分布式文件数
据、对象存储、流式数据、时序数据库、分析型数据库等多种类型数据源的采集。
6.3数据交换共享
6.3.1概述
产业数据仓应具备数据交换共享功能,通过构建覆盖多级政务部门间、企业侧各主体间的数据交换
体系,实现异构应用系统间松耦合的数据交换共享,满足政企两侧的数据融合需要;涉及跨网的数据交
互,应满足第9章安全体系建设要求。数据交换共享应支持但不限于以下方式:库表数据交换、接口数
据交换、文件数据交换等。
6.3.2库表数据交换
库表数据交换应由交换桥接、前置交换、交换传输、交换管理等组成,通过交换桥接将需要交换的
信息交换到前置数据库,在交换管理的流程控制下,通过交换传输、前置交换,把需要交换的信息定向
传输到接收单位。
6
定制服务
推荐标准
- CB/T 3153-2019 船舶机舱监视报警装置技术条件 2019-12-24
- HJ777-2015 空气和废气 颗粒物中金属元素的测定 电感耦合等离子体发射光谱法 2015-12-04
- HJ775-2015 水质 蛔虫卵的测定 沉淀集卵法 2015-12-04
- CB/T 3095-2019 船舶铜合金螺旋桨补焊要求 2019-12-24
- HJ779-2015 环境空气 六价铬的测定 柱后衍生离子色谱法 2015-12-04
- HJ2049-2015 铅冶炼废气治理工程技术规范 2015-11-20
- HJ2048-2015 饮料制造废水治理工程技术规范 2015-11-20
- HJ776-2015 水质 32种元素的测定 电感耦合等离子体发射光谱法 2015-12-04
- HJ778-2015 水质 碘化物的测定 离子色谱法 2015-12-04
- HJ2047-2015 水解酸化反应器污水处理工程技术规范 2015-11-20