T/CESA 1026-2018 人工智能 深度学习算法评估规范

范围:本标准提出了人工智能深度学习算法的评估指标体系、评估流程，以及需求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容。 本标准适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法的可靠性开展评估工作; 主要技术内容:本标准的主要借鉴国际标准DO-178C-2011 Software Consideration in Airborne Systems and Equipment Certification 的思想，针对算法的不同阶段定义了多个不同的目标来满足不同的等级，同时实现了面向深度学习算法可靠性指标体系的前向和后向追踪的理念，使得对算法研发过程的验证与评估变得更容易，从而达到评估可靠性的目标。本标准结合人工智能深度学习算法的特点及传统的可靠性评估的体系及流程，制定了标准的内容，主要包括以下方面：算法可靠性评估指标体系基于深度学习算法可靠性的内外部影响考虑，结合用户实际的应用场景，本标准提出了一套深度学习算法的可靠性评估指标体系。指标体系包含7个一级指标和20个二级指标。算法可靠性评估流程依据深度学习算法可靠性评估指标体系，对深度学习算法开展可靠性评估工作。可靠性评估流程包括确定可靠性目标、选择评估指标、需求阶段的评估、设计阶段的评估、实现阶段的评估、运行的阶段评估及得出评估结论这七个阶段。算法需求、设计、实现和运行阶段的前提条件、输入、关键活动及输出的内容面向深度学习算法需求阶段的评估工作，指运用可靠性分析方法，通过对算法功能实现的正确性和软硬件平台依赖的影响等进行评估，以确定算法的需求满足可靠性目标要求。面向深度学习算法设计阶段的可靠性评估工作，指运用分析或评审等方法，对算法功能实现的正确性、训练数据集的影响及目标函数等进行评估，以确定算法设计满足可靠性目标要求。面向深度学习算法实现阶段的可靠性评估工作，指运用分析和测试等方法，对算法功能实现的正确性、代码实现的正确性、目标函数的影响及对抗性样本的影响等进行评估，以确定算法的实现满足可靠性目标要求。面向深度学习算法运行阶段的可靠性评估工作，指针对实际运行环境使用数据进行分析，对算法的正确性、软硬件平台的依赖影响和环境数据的影响等进行评估，以确定算法的运行满足可靠性目标要求。深度学习算法可靠性评估指标选取规则附录A给出了深度学习算法的可靠性评估指标的选取规则。针对不同级别的深度学习