T/AI 126.3-2024 数据湖 第3部分：数据资源管理系统

范围:本文件给出了数据资源管理系统的功能架构，规定了系统的基础支撑、数据集成、数据管理、数据交换、数据分析挖掘、数据备份、数据安全和SaaS软件运营服务等要求。 本文件适用于部署在数据湖上的数据接入、标准化清洗、管理、处理、开发共享等应用，可用于指导数据治理类工具产品的设计与开发; 主要技术内容:该系统包括可视化运维、数据资产、数据治理、数据处理、运维管理、数据应用、数据服务、部署管理、数据探查、标准化映射和标签引擎等11个功能模块。其中，可视化运维模块可以实现系统运行可视化、数据流转视图、数据总览视图、数据治理视图、数据处理视图和数据共享视图的展示与查看等功能；数据资产模块可以实现数据资产管理、资产视图查看、血缘管理和血缘查询、数据集管理和目录编目等功能；数据治理模块可以实现数据治理配置、数据元管理、代码集管理、数据集成（多种插件、数据接入和标准化、监控）、转换任务的管理、作业管理、作业监控、质量规则管理、质量评估、执行结果、输出质量报告和数据对账等功能；数据处理模块可以实现IDE和控制台配置等功能；运维管理模块可以实现任务管理、任务实例监控、全局实例DAG调度监控、变量内置自定义变量、执行控制器（7小类最大并发实例数配置）和异常提醒等功能；数据应用模块可以实现主题检索，标签编辑，形成索引名称，在标签下搜索数据内容等功能；数据服务模块可以实现接口开发，封装接口，对接口分组管理等功能；部署管理模块可以实现大数据平台文件和安全认证文件的配置等功能；数据探查模块可以实现数据探查、项目管理、全域数据探查和核心数据筛选等功能；标准化映射模块可以实现原始库到标准库的标准化操作和清洗操作等功能；标签引擎模块可以实现标签管理、标签加工管理和数据链接管理等功能