T/AI 126.4-2024 数据湖 第 4 部分：人工智能技术应用要求

范围:本文件确立了数据湖对人工智能技术应用架构的要求，规定了架构中各部分的功能要求和接口要求等。 本文件适用于数据湖中对人工智能技术应用API的设计与开发; 主要技术内容:《数据湖 第4部分：人工智能应用技术要求》特色技术包括：（1）隐私计算安全技术研究建立可追溯的数据安全保障机制，满足数据安全需求。研究基于联邦学习技术，解决数据不出域场景下的数据碰撞问题，提出数据全面融合，孵化高价值模型方法。基于可信执行硬件和其他加密技术，构建数据出域后模型孵化的安全可信环境，实现做到数据可用不可见，确保数据隐私、安全和合规。（2）智能分级存储技术考虑到冷热数据分层特性，一方面需大容量低成本的存储能力，另一方面训练中需快速数据检索能力。研究蓝光存储及磁光电一体化智能分级存储技术，将海量数据存放至低成本的蓝光介质，同时将训练数据预加载至高吞吐量的磁或电介质。此外，分级存储还考虑RAID高可靠性机制，对象自动复制能力和敏感数据加密服务，提升资源库健壮性，保障数据存储安全。（3）分布式训练及推理技术面对超大参数模型和海量数据给训练资源和时长带来的挑战，探索训练数据切片机制，通过数据并行、模型并行、混合并行等方式，集成上千GPU加速卡的并行计算模式，实现大规模分布式训练，并确保0.9+的线性扩容能力。同时，基于任务需求变化，自动调整资源配给，研究弹性可伸缩的推理架构，提升算法推理的弹性服务能力；开发兼容多种深度学习框架的推理服务工具，并适配多种国产化算力，实现了异构算力资源的统一调度