T/QBDA 1001-2017 大数据标准体系框架V1.0

主要技术内容:大数据标准体系框架内容结合国内外大数据标准化情况、 国内大数据技术发展现状、 大数据参考架构及标准化需求， 根据数据全周期管理， 数据自身标准化特点， 当前各领域大数据应用初步实践， 以及未来大数据发展趋势， 制定了大数据标准体系框架。大数据标准体系框架包含五个部分：1.基础标准。为整个标准体系提供包括总则、 术语、 社会模型、 技术模型等基础性标准。总则提供了大数据标准化指南， 本标准属于总则标准的组成部分。术语定义了大数据各元素的概念。社会模型是一种在大数据产业生态链中能够反映大数据发展、 运行、 产生社会价值的社会化关系概念模型， 一般由系统协调者、 数据提供者、 应用提供者、 框架提供者和数据消费者等构成。技术模型定义了大数据系统中数据生命周期过程， 经历数据采集、 存储、 管理和处理、 分析和挖掘、呈现和应用等过程。2.技术标准。该类标准主要针对大数据相关技术进行规范， 包括数据采集、 数据处理、 数据存储、 数据分析、 数据展现和数据交换等关键技术。数据采集是指在广泛的数据源中对不同类型、 不同格式的数据进行采集， 并发送给存储系统或数据中间件系统进行后续处理。数据处理包含数据预处理和数据处理两个过程。 数据预处理是把多样的数据进行预先处理、分类，提升数据质量， 使得后续数据处理、 存储、 分析等过程更加有效， 包括数据清理、 数据集成、 数据归约与数据转换等阶段。 数据处理技术一方面与分布式存储形式有关， 一方面与数据的温度类型（冷数据、热数据） 相关， 数据处计算模型主要包括 MapReduce 计算模型、 DAG 计算模型、 BSP 计算模型等。大数据存储是对数据进行存储， 其关键技术是分布式存储技术， 不同的存储介质和组织管理形式对应不同的大数据特征， 一般包括分布式文件系统、 文档存储、 列式存储、 键值存储、 图形数据库、关系数据库和内存存储等形式。数据分析是指通过聚类、 分类、 关联分析和深度学习等手段对已有的数据信息的分布式统计进行分析， 以及对位置数据信息的分布式挖掘和深度学习的技术。数据展现是运用计算机图像处理技术， 把数据转换为图形或图像的形式在屏幕上显示出来， 并进行处理。数据交换是指不同系统、 设备之间， 对数据进行交互， 以完成数据生命周期过程的技术。3.管理标准。该类标准主要针对大数据体系进行管理， 包括数据利