YC/T 532-2015 烟草行业信息化统一平台传输环境使用规范

ICS65.160

X89

备案号:—

491752015

中华人民共和国烟草行业标准

/—

YCT5322015

烟草行业信息化统一平台传输环境

使用规范

ㅤㅤㅤㅤ

Usaesecificationfortransmissionenvironment

gp

oftobaccoindustrinformatizationuniformlatform

yp

2015-01-26发布2015-02-15实施

国家烟草专卖局发布

/—

YCT5322015

引言

本标准是指导我国烟草行业工商企业使用行业信息化统一平台传输环境进行数据传输的技术性规

,,

范着重说明传输环境对外所提供功能及接口的使用规范包括结构化数据传输和非结构化数据传输

。。

两种方式传输环境的内部功能机制仅在功能框架中简要说明

,

本标准附录说明了传输环境组件任务的配置参数指导我国烟草行业工商企业使用

AETLETL

组件进行结构化数据传输。

,

本标准附录说明了传输环境前置导出数据文件的格式指导我国烟草行业工商企业根据

BODS

数据文件格式进行数据处理。

,

本标准附录定义了传输环境非结构化数据传输的接口规范指导我国烟草行业工商企业使用数

C

据传输组件进行非结构化数据传输。

ㅤㅤㅤㅤ

Ⅱ

/—

YCT5322015

烟草行业信息化统一平台传输环境

使用规范

1范围

本标准规定了烟草行业用户使用行业信息化统一平台传输环境完成数据传输的方法。

、。

本标准适用于行业性应用系统及省级单位数据中心数据传输的设计开发及实施

2术语和定义

下列术语和定义适用于本文件。

2.1

行业信息化统一平台industrinformatizationuniformlatform

yp

、,、

承载各类行业性应用实现两级建设主体有效集成协同共享的行业信息化基础平台由云环境传

、,、。

输环境集成环境和数据环境四个部分组成其物理部署包括国家局本级环境和省级地市级前置环境

2.2

传输环境transmissionenvironment

、,

支持国家局省级和地市级三级间的数据传输为行业跨组织层级的数据交互提供安全可靠的接

ㅤㅤㅤㅤ

、、,,

入存储加工传输和共享服务的行业统一共用的数据传输通道传输环境是行业信息化统一平台的重

要组成部分。

2.3

可管理文件传输manaedfiletransfer

g

,、、、、

支持集中监控与配置文件传输相关服务具备可靠的完整的可扩展的可审计的安全的文件传

,。

输能力用于大数据文件高速传输的技术

2.4

ODSoerationaldatastore

p

、、,、、、

提供即时的操作型的集成的数据集合具有面向主题性集成性动态性即时性等特点的一种操

作型数据库。

2.5

同步传输模式snchronoustransfermode

y

()。

基于同步传输协议如HTTP协议的数据传输模式

:,,,。

注在这种模式下传输发送方发出一份报文后需要等待接收方响应方可继续发送传输下一份报文

2.6

UTF-8

,。

针对Unicode的可变长度字符编码亦称万国码

2.7

统一资源标识符URI

。

用于标识某一互联网资源名称的字符串该种标识允许用户对网络中的资源通过特定的协议进行

交互操作。

1

/—

YCT5322015

2.8

XML

,,,。

一种可扩展标记语言属标准通用标记语言的子集用于标记电子文件内容使其具有结构性

2.9

WebService

、、、,、,

可使用开放的XML标准来描述发布发现配置和调用用于开发分布式互操作软件应用的

、。

一个平台独立的松耦合的Web应用程序

2.10

MD5

,,,

以位分组来处理输入文本由四个位分组独立运算将它们级联形成一个位散列值用

51232128

于提供消息的完整性保护的一种散列函数。

2.11

Base64

基于个可打印字符表示二进制数据的编码方法。

64

2.12

ETL

、、。

将数据从来源端经过抽取转换加载至目标端的过程

3传输环境功能框架

ㅤㅤㅤㅤ

,。

传输环境提供行业三级数据传输的各项功能其功能组件框架如图所示

1

图传输环境功能组件框架示意图

1

2

/—

YCT5322015

传输环境功能组件如下:

)组件

aETL

、、,

ETL组件实现数据在同一个组织内不同数据源之间的抽取转换装载典型使用场景包括应

、、、。

用系统数据库与前置ODS之间企业数据中心与前置ODS之间等的数据抽取转换装载

b)数据传输组件

,、

数据传输组件实现数据在不同组织之间的传输典型使用场景包括数据在国家局省级和地市

级之间的数据传输。

)动态数据采集组件

c

,,

动态数据采集组件基于行业指标体系通过可视化的配置界面动态形成数据采集与报送应用

支持业务部门的数据填报采集需求。

d)数据下行组件

数据下行组件通过发布订阅的方式将国家局数据中心的主题数据下发到行业各省级单位前置

,。

ODS实现数据共享

)数据加工组件

e

,。

数据加工组件通过配置方式生成数据加工逻辑对行业上行数据进行轻粒度加工汇总

)三级前置ODS

f

,

三级前置ODS是传输环境的存储数据库作为传输环境与省级数据中心及业务系统进行数据

,、。

交换的中转数据库包括国家局前置ODS省级前置ODS和地市级前置ODS

4传输环境使用规范

4.1结构化数据传输

ㅤㅤㅤㅤ

4.1.1概述

,,

通过界面配置的方式将行业性应用系统和省级单位数据中心的结构化数据接入传输环境自动调

、、,。

用ETL组件数据传输组件数据下行组件以及三级前置ODS实现结构化数据上行和下行传输其

中,,、;,

ETL组件负责数据接入提供数据抽取转换和装载服务数据传输组件由ETL组件调用负责实

;,

现上下级之间数据的物理传输数据下行组件负责主题数据的订阅处理将国家局数据中心的数据下发

;。

至省级前置ODS三级前置ODS负责上行和下行结构化数据的暂存

4.1.2结构化数据上行传输

,:

结构化数据上行传输是指数据从工商企业到省级单位及从省级单位到国家局的传输过程包括行

,、

业性应用系统使用传输环境实现结构化数据从工商企业到省级单位再到国家局的上传直接从省级单

;,。

位到国家局的上传省级单位数据中心使用传输环境将数据上传至国家局数据中心

数据上行传输包括源节点应用系统与本级前置之间的数据抽取转换装载()、上下级

ODSETL

、(),

ODS之间的数据传输目标节点前置ODS与应用系统之间的数据抽取转换装载ETL三个步骤示意

图如图所示。

2

图数据上行传输过程示意图

2

3

/—

YCT5322015

数据上行传输操作步骤如下:

)。:

aETL任务配置通过ETL组件的配置界面配置ETL任务

)。,、

1配置源节点数据库配置源节点应用系统的数据库连接信息包括数据库类型数据库

、、、、。

IP地址端口数据库名称用户名密码等内容

)。,;

2配置数据抽取规则选择源节点数据库ETL组件自动从数据库中读取数据表列表从

;

数据表列表中选择需要抽取的数据表及其字段配置数据表字段与行业数据元的对应关

,;,

系每个数据表字段都需要与一个行业数据元对应配置数据抽取模式ETL组件支持全

,,;

表抽取以及增量抽取两种模式如果是增量抽取则需配置增量抽取的数据表字段配置

数据抽取条件,组件只抽取符合抽取条件的数据。

ETL

)。,

3配置数据传输规则对于跨组织的结构化数据传输需要进行数据传输规则配置包括选

择目标节点和设置传输模式。

)。,、

4配置目标节点数据库配置目标节点应用系统的数据库连接信息包括数据库类型数据

、、、、。,

库地址端口数据库名称用户名密码等内容配置完成后需在ETL组件配置界

IP

,。

面进行数据库连通性测试确保ETL组件能够将数据装载至数据库

)。,;

5配置数据装载规则选择目标节点数据库ETL组件自动从数据库中读取数据表列表

;

从数据表列表中选择需要进行数据装载的数据表及其字段配置目标装载表字段与源抽

取表字段之间的对应关系。

)。、。

6配置任务调度规则任务调度支持定时执行周期性执行等规则

)。,

7发布任务将配置的ETL任务发布到源节点和目标节点一个ETL任务只需配置一次

,。

便可发布到多个节点无需在每个节点进行重复配置各节点将根据数据表字段与行业

,、。

数据元的对应关系在前置ODS中按照行业数据元编码名称等信息自动创建数据表

)数据抽取。,

bETL组件根据上述ETL任务配置的规则执行ETL任务自动从源节点的数据库

ㅤㅤㅤㅤ

,。

中抽取数据并装载至源节点前置ODS

)。,任务配置的规则调用传

c数据传输对于跨组织的结构化数据传输ETL组件根据上述ETL

,。

输组件自动将暂存在源节点前置ODS的数据发送至目标节点前置ODS

)。,

d数据装载对于跨组织的结构化数据传输传输组件根据上述ETL任务配置的规则调用目标

,,

节点ETL组件自动从ODS抽取数据并根据数据装载规则将数据装载至目标节点应用系统

数据库。

ETL任务配置参数详细说明见附录A。

4.1.3结构化数据下行传输

,

结构化数据下行传输是指数据从国家局至省级单位的传输过程通过传输环境将国家局数据中心

主题数据下行至省级单位数据中心。

、、

数据下行传输包括国家局数据发布行业单位申请数据下行至省级前置ODS和基于省级前置

,。

的数据共享服务四个步骤示意图如图所示

ODS3

图数据下行传输过程示意图

3

4

/—

YCT5322015

数据下行传输的操作步骤如下:

)。。

a国家局数据发布国家局数据中心将需要下行的数据发布到国家局前置ODS

)。,。

b数据下行申请行业单位向国家局提出特定主题的数据下行申请批准后生效

)。。

c主题数据下行数据下行组件定时将国家局批准生效后的主题数据下行到省级前置ODS

)。,

d数据共享服务传输环境基于下行到省级前置ODS的数据为省级单位数据中心提供三种共

享服务:

):、;

1ETL服务通过ETL组件将数据从省级前置ODS抽取装载到省级单位数据中心

):

2数据库访问服务省级单位数据中心通过JDBC方式直接访问省级前置ODS的共享数据

区获取数据;

):,

3文件访问服务将省级前置ODS共享数据导出并生成数据包供企业下载数据包格式标

准详见附录B。

4.1.4异常处理

,,

当数据传输过程发生异常时如果故障出现在过程则组件首先自动在故障点进行次

ETLETL3

,,,

间隔为的重试如果重试失败将继续进行次间隔为10min的重试如果故障仍未恢复系统根

1min3

、,,

据配置要求将异常信息以短信邮件等方式通知发生异常单位的运维人员运维人员排除故障后通过

;,

ETL任务调度界面重新执行该ETL任务如果故障出现在传输过程数据传输组件首先自动在故障点

,ㅤㅤㅤㅤ,

进行次间隔为的重试如果重试失败将继续进行次间隔为的重试如果故障仍未恢

31min310min

,、,

复数据传输组件根据配置要求将异常信息以短信邮件等方式通知发生异常单位的运维人员运维人

,。

员排除故障后通过数据重发界面进行数据重发

,

当传输环境传输中间件出现故障时运维人员可向国家烟草专卖局烟草经济信息中心申请应急传

,,。

输批准后由国家烟草专卖局烟草经济信息中心启用应急传输保障数据正常传输

4.2非结构化数据传输

4.2.1概述

,

以标准化接口方式将行业性应用系统的非结构化数据接入传输环境自动调用数据传输组件实现

。、、,

非结构化数据的上行和下行传输根据使用者在数据量传输频度传输时效性等方面的不同要求数

、、。,

据传输组件内置消息数据传输可管理文件传输同步传输三种模式其中消息数据传输模式适用于

();、;

消息型数据或较小的文件小于20Mb可管理文件传输模式适用于视频图片等大数据文件同步传

()。

输模式适用于时效性要求高或需要同步响应结果的业务数据小于5Mb

4.2.2非结构化数据上行及下行传输

,,、

通过标准化接口方式接入传输环境实现应用系统的非结构化数据传输包括源节点文件发送跨

,。

节点文件传输和目标节点文件接收三个步骤其示意图如图所示

4

5

/—

YCT5322015

图应用系统接入示意图

4

数据传输组件提供三种接入方式:、、,

HTTP接口方式同步接口方式文件目录接口方式接入步骤

如下:

)接口方式和同步接口方式接入

aHTTP

)。,

1接入申请行业单位向国家烟草专卖局烟草经济信息中心提出应用系统接入申请审批

、

通过后为申请接入的应用系统分配身份识别码源应用及目标应用编码和数据传输类型

代码。

)。,

2接入实施行业单位根据应用系统身份识别码及数据传输类型代码等相关参数按照附

,。

录接口规范开发发送与接收功能完成数据传输

C

b)文件目录接口方式接入ㅤㅤㅤㅤ

):,

1传输任务申请行业单位向国家烟草专卖局烟草经济信息中心提出传输任务的配置申请

审批通过后生效。

):,

2接入实施行业单位将应用系统的待传输文件放入传输任务所配置的文件目录数据传输

,。

组件自动执行经审批生效的传输任务完成文件传输

接口规范及标准详见附录C。

4.2.3异常处理

,,

当数据传输发生异常时数据传输组件首先自动在故障点进行次间隔为的重试如果重试

31min

,,

失败将继续进行次间隔为的重试如果故障仍未恢复数据传输组件根据配置要求将异常信

310min

、,,

息以短信邮件等方式通知发生异常单位的运维人员运维人员排除故障后通过数据重发界面进行数

据重发。

,,

传输环境传输中间件出现故障时运维人员可向国家烟草专卖局烟草经济信息中心申请应急传输

,。

批准后由国家烟草专卖局烟草经济信息中心启用应急传输保障数据正常传输

6

/—

YCT5322015

附录

A

()

规范性附录

ETL任务配置参数说明

:、、、,

传输环境ETL组件数据交换过程包括ETL任务配置数据抽取数据传输数据装载四个步骤

,、。

其中ETL任务由用户配置数据抽取数据传输和数据装载由ETL组件自动执行ETL任务配置包

、、、、

括配置源节点数据库配置数据抽取规则配置数据传输规则配置目标节点数据库配置数据装载规

、、,。

则配置任务调度规则发布任务个步骤每个步骤的配置参数说明如下

7

A.1配置源节点数据库

配置源节点应用系统的数据库连接信息,组件根据配置信息以的方式连接数据库抽取

ETLJDBC

,。

数据配置参数详细说明见表A.1

表A.1源节点数据库配置参数说明

序号参数名称参数说明

,

1数据源名称填写此数据库的名称此名称应是唯一的

应用系统所使用的数据库类型,组件支持的数据库类型包括、、

ETLDB2Oracle

2数据库类型

、

SlServerMSQL

qy

ㅤㅤㅤㅤ

,

地址应用系统数据库对外提供服务的地址在网络上需要确保与传输环境是连通的

3IPIP

4端口应用系统数据库对外提供服务的端口号

5数据库名称应用系统数据库的数据库名称

,

6用户名访问应用系统数据库的用户名该用户名要具备需要进行数据交换的数据表的读取权限

7密码访问应用系统数据库的用户名所对应的密码

A.2配置数据抽取规则

,,。

进行数据抽取规则配置ETL组件根据抽取规则抽取数据配置参数详细说明见表A.2

表A.2数据抽取配置参数说明

序号参数名称参数说明

,

1源节点数据库预先配置的源节点数据源名称从数据源列表中选择

,

2数据表名称需要进行数据交换的数据表名称从数据表列表中选择

,

3数据表字段需要进行数据交换的数据表字段从数据表字段列表中选择

,,

4行业数据元行业统一的数据元由国家局统一维护从行业数据元列表中选择

5数据抽取模式ETL组件支持全表抽取以及增量抽取两种数据抽取模式

,。

数据增量抽取的条件支持数据状态以及数据更新时间两种增量类型增量抽取数

6增量抽取数据表字段

据表字段只能从源数据表字段中选择

7抽取条件数据抽取时的SQL语句查询条件

7

/—

YCT5322015

A.3配置数据传输规则

,。

ETL组件跨节点的结构化数据交换需要配置数据传输规则配置参数详细说明见表A.3

表A.3数据传输配置参数说明

序号参数名称参数说明

,

1目标节点名称数据需要交换到的目标节点从传输节点列表中选择

,

2数据传输模式选择数据传输组件内置的传输模式支持消息数据传输和可管理文件传输两种模式

A.4配置目标节点数据库

配置目标节点应用系统的数据库连接信息,组件根据配置信息以的方式连接数据库装

ETLJDBC

,。

载数据配置参数详细说明见表A.4

表A.4目标节点数据库配置参数说明

序号参数名称参数说明

,

1数据源名称填写此数据库的名称此名称应是唯一的

ㅤㅤㅤㅤ,、、

应用系统所使用的数据库类型ETL组件支持的数据库类型包括DB2Oracle

2数据库类型

、

SlServerMSQL

qy

,

地址应用系统数据库对外提供服务的地址在网络上需要确保与传输环境是连通的

3IPIP

4端口应用系统数据库对外提供服务的端口号

5数据库名称应用系统数据库的数据库名称

,、、

6用户名访问应用系统数据库的用户名该用户名要具备数据表的读取更新插入和删除权限

7密码访问应用系统数据库的用户名所对应的密码

A.5配置数据装载规则

,,

进行数据装载规则配置ETL组件根据装载规则将数据装载至目标数据库配置参数详细说明见