T/CES 289-2024 电力人工智能模型场景化评价指南

范围:本标准规定了在构建电力人工智能模型场景化评估体系过程中涉及的指标定义以及相关的通用评估框架和策略。其目的是完成人工智能算法在电力行业特定场景下的全面评估。 本标准适用于电力监测与分析类场景的模型应用评估过程，可作为模型开发初期的概念验证阶段到实际部署后的持续优化阶段模型的性能和应用效果评估工具。本标准不适用于生成式模型的应用场景; 主要技术内容:（1）范围本标准规定了在构建电力人工智能模型场景化评估体系过程中涉及的指标定义以及相关的通用评估框架和策略，包括场景化评价体系构建、业务评价指标评分、技术评价指标计算及及时评价指标评分等方面技术要求。本标准适用于电力监测与分析类场景的模型应用评估过程，可作为模型开发初期的概念验证阶段到实际部署后的持续优化阶段模型的性能和应用效果评估工具。（2）规范性引用文件本标准主要引用的文件主要包括：GB/T 22239-2019 《信息安全技术 网络安全等级保护基本要求》GB/T 29246-2012 《智能电网信息交换 通用信息模型(CIM)》GB/T 31167-2014 《智能电网用户接口,涉及智能电网用户接口的标准》GB/T 34010-2017 《电力系统信息物理系统安全防护通用技术要求》ISO/IEC 25010:2011 《系统与软件工程系统与软件质量要求与评价（SQuaRE）系统与软件质量模型》ISO/IEC 27001:2013 《信息安全管理体系要求》IEEE 1547-2018 《分布式能源资源与电力系统接口的互联和互操作性标准》IEEE 2801-2021《Standard for the Performance and Safety Evaluation of Artificial Intelligence (AI) Based Medical Device Systems》IEEE 7000 Series 《Standards for Ethical Considerations in AI and Autonomous Systems》（3）术语及定义主要包括层次分析法、评价体系、一致性比率、一致性指标、一致性指标比率、BLEU的定义