T/QBDA 1001-2017 大数据标准体系框架V1.0
T/QBDA 1001-2017 Big Data Standardization Framework V1.0。
团体标准
中文(简体)
现行
页数:0页
|
格式:PDF
基本信息
标准号
T/QBDA 1001-2017
标准类型
团体标准
标准状态
现行
发布日期
2017-09-23
实施日期
2017-10-01
发布单位/组织
-
归口单位
青岛市大数据发展促进会
适用范围
主要技术内容:大数据标准体系框架内容结合国内外大数据标准化情况、 国内大数据技术发展现状、 大数据参考架构及标准化需求, 根据数据全周期管理, 数据自身标准化特点, 当前各领域大数据应用初步实践, 以及未来大数据发展趋势, 制定了大数据标准体系框架。大数据标准体系框架包含五个部分:1.基础标准。为整个标准体系提供包括总则、 术语、 社会模型、 技术模型等基础性标准。总则提供了大数据标准化指南, 本标准属于总则标准的组成部分。术语定义了大数据各元素的概念。社会模型是一种在大数据产业生态链中能够反映大数据发展、 运行、 产生社会价值的社会化关系概念模型, 一般由系统协调者、 数据提供者、 应用提供者、 框架提供者和数据消费者等构成。技术模型定义了大数据系统中数据生命周期过程, 经历数据采集、 存储、 管理和处理、 分析和挖掘、呈现和应用等过程。2.技术标准。该类标准主要针对大数据相关技术进行规范, 包括数据采集、 数据处理、 数据存储、 数据分析、 数据展现和数据交换等关键技术。数据采集是指在广泛的数据源中对不同类型、 不同格式的数据进行采集, 并发送给存储系统或数据中间件系统进行后续处理。数据处理包含数据预处理和数据处理两个过程。 数据预处理是把多样的数据进行预先处理、分类,提升数据质量, 使得后续数据处理、 存储、 分析等过程更加有效, 包括数据清理、 数据集成、 数据归约与数据转换等阶段。 数据处理技术一方面与分布式存储形式有关, 一方面与数据的温度类型(冷数据、热数据) 相关, 数据处计算模型主要包括 MapReduce 计算模型、 DAG 计算模型、 BSP 计算模型等。大数据存储是对数据进行存储, 其关键技术是分布式存储技术, 不同的存储介质和组织管理形式对应不同的大数据特征, 一般包括分布式文件系统、 文档存储、 列式存储、 键值存储、 图形数据库、关系数据库和内存存储等形式。数据分析是指通过聚类、 分类、 关联分析和深度学习等手段对已有的数据信息的分布式统计进行分析, 以及对位置数据信息的分布式挖掘和深度学习的技术。数据展现是运用计算机图像处理技术, 把数据转换为图形或图像的形式在屏幕上显示出来, 并进行处理。数据交换是指不同系统、 设备之间, 对数据进行交互, 以完成数据生命周期过程的技术。3.管理标准。该类标准主要针对大数据体系进行管理, 包括数据利
发布历史
-
2017年09月
文前页预览
当前资源暂不支持预览
研制信息
- 起草单位:
- 青岛赛迪国软信息系统治理有限公司、 青岛第三方工业和信息化综合服务平台有
- 起草人:
- 任保东、 单哲、 吴业元、 赵龙军
- 出版信息:
- 页数:- | 字数:- | 开本: -
内容描述
暂无内容
定制服务
推荐标准
- HB 1842-1978 轴套 1980-01-07
- SJ 20730-1999 战术电台跳扩频参数编程器通用规范 1999-11-10
- DL/T 5376-2007 水电工程建设征地处理范围界定规范 2007-07-20
- YD/T 1355-2005 小型局站同步时钟设备技术要求和测试方法 2005-05-11
- DL/T 341-2010 火电厂石灰石/石灰-石膏湿法烟气脱硫装置检修导则 2011-01-09
- FZ 66102-1995 特种工业用棉布(一) 1995-12-01
- JJG(铁道) 153.4-2009 铁道货车减振器斜楔量规检定规程 2009-11-11
- SH/T 3014-2002 石油化工企业储运系统泵房 设计规范 2003-02-09
- DL/T 5198-2013 水电水利工程岩壁梁施工规程 2013-03-07
- HG/T 21515-2014 常压人孔 2014-07-09