T/31SCTA 003-2017 工业大数据平台技术规范 数据处理

ICS83.140.99

G40

登记号:/

T31357310115F0972018

团体标准

/—

T31SCTA0032017

工业大数据平台技术规范

数据处理

Technicalsecificationforindustrialbidatalatform—

pgp

Datarocessin

pg

2017-11-29发布2018-01-15实施

上海市计算机行业协会发布

/—

T31SCTA0032017

目次

前言…………………………Ⅲ

1范围………………………1

2规范性引用文件…………………………1

3术语和定义………………1

4缩略语……………………1

5数据处理要求……………1

5.1综述…………………1

5.2流式计算要求………………………2

5.2.1一般要求………………………2

5.2.2功能要求………………………2

5.3分布式离线分析要求………………2

5.3.1一般要求………………………2

5.3.2功能要求………………………2

5.4分布式在线分析要求………………3

5.4.1一般要求………………………3

5.4.2功能要求………………………3

5.5表达式计算要求……………………4

5.5.1一般要求………………………4

5.5.2功能要求………………………4

()…………

附录资料性附录机器学习

A5

A.1概况…………………5

A.2学习形式分类………………………5

A.3综合分类……………6

A.4按应用领域分类……………………7

A.5基于所获取知识的表示形式分类…………………7

A.6基于学习策略的分类………………8

()…………

附录资料性附录流式计算框架对比分析

B10

B.1概述…………………10

B.2运行时和编程模型…………………10

B.3主流开源流处理系统………………11

B.4状态管理……………12

B.5小结…………………13

()……………………

附录资料性附录基本架构与原理分析

CSark14

p

C.1概述…………………14

C.2架构及生态…………………………14

与…………………

C.3SarkHadoo15

pp

Ⅰ

/—

T31SCTA0032017

C.4常用术语……………15

C.5Sark运行模式……………………16

p

C.6SarkCluster模式………………17

p

C.7RDD运行流程……………………18

参考文献……………………20

Ⅱ

/—

T31SCTA0032017

前言

本标准按照/—给出的规则起草。

GBT1.12009

。。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别这些专利的责任

本标准由上海市计算机行业协会提出并归口。

:、、

本标准起草单位上海宝信软件股份有限公司上海宝景信息技术发展有限公司上海电子信息产

、、、

品再利用促进中心上海庆科信息技术有限公司上海金自天正信息技术有限公司上海地铁电子科技

、()、、、

有限公司上海理想信息产业集团有限公司上海欧冶数据技术有限责任公司上海市标准化协会上

、、、

海宝能信息科技有限公司上海浦东软件平台有限公司中国电子科技集团公司第三十二研究所上海

、、、、

思普信息技术有限公司上海产业技术研究院上海可鲁系统软件有限公司上海市计算机行业协会上

海顶逸信息科技有限公司。

:、、、、、、、、、

本标准主要起草人滕逸龙宋健海董文生吴德中沈春锋邵卫军王永虹林苑李镇宁

、、、、、、、、、、、、

吴毅平孙建淮王会芝王克勤沈建华范昀罗渝平严祖丹李茂华许六一冯为民沈华红

、、、、、、、、、、、、、、

李家宏裘维东孙伟国黄钰梅谢彬吴俊伟刘涛郭烨周晓婷叶天琦刘丽覃宏昆吴疆谢玉彬

、。

朱彭生钟寅超

Ⅲ

/—

T31SCTA0032017

工业大数据平台技术规范

数据处理

1范围

、、、

本标准规定了工业大数据中数据处理的术语和定义数据处理的流式计算分布式离线分析分布

、。

式在线分析表达式计算的要求等

、、,

本标准适用于工业大数据平台的设计开发选型和实施可作为企业选择或评价工业大数据平台

时的评测依据。

、、

本标准的使用者包括独立软件测试机构工业大数据平台相关的软件产品开发组织实施及咨询服

。。

务机构等与工业大数据平台开发有关的其他领域亦可参照使用

2规范性引用文件

。,

下列文件对于本文件的应用是必不可少的凡是注日期的引用文件仅注日期的版本适用于本文

。,()。

件凡是不注日期的引用文件其最新版本包括所有的修改单适用于本文件

/—:

信息设备资源共享协同服务第部分基础协议

SJT1131020051

/工业大数据平台技术规范数据采集接入

T31SCTA001

/工业大数据平台技术规范数据存储

T31SCTA002

3术语和定义

下列术语和定义适用于本文件。

3.1

表达式计算服务formulacalculationservice

FCS

,,

提供基于表达式配置解析的计算服务具备强大的表达式解析引擎可以灵活配置表达式计算调用

,。

方式并内置丰富的计算函数库

4缩略语

下列缩略语适用于本文件。

:()。

CNN卷积神经网络ConvolutionalNeuralNets

:()。

DBN深度置信网DeeBeliefNets

p

5数据处理要求

5.1综述

、、,

数据处理应包括流式计算分布式离线分析分布式在线分析和表达式计算分析等以满足不同场

1