T/SAIAS 0013.4-2023 教育通用人工智能大模型 第4部分：测评规范

范围:本文件规定了教育通用人工智能大模型的测评框架、测评指标、测评维度和测评方法。 本文件适用于教育通用人工智能大模型的基础能力和教学功能的测评; 主要技术内容:本文件规定了一系列用于评估大模型全方面能力的测评指标、综合测试模型本身的自然语言处理能力、模型应用于各教育场景的能力、模型的价值观、安全性和数据合规性等各个方面。对以上每一个维度的测评、都相应需要一个高质量的动态更新的测评数据。1.教育通用人工智能大模型测评框架包括测评指标、测评维度、测评数据集、模型基础能力测评和安全风险测评五个部分。2.本文件定义了3个一级测评指标和12个二级测评指标，4个一级测评维度、19个二级测评维度和76个三级测评维度。每一个三级测评维度、需要用相应的测试数据集进行相应指标的测评。3.所有测评维度可以单独测试或者选择部分测试维度组成一个测试子集、或者选择全集进行组合测试。模型基础能力和安全风险测评维度可以参考已有的团体、行业、国家或国际标准