T/SAIAS 015-2024 语料库建设导则

主要技术内容:本标准主要涵盖了人工智能语料库建设的相关内容。规定了其一般要求和方法，适用于多种相关工作。在数据资源方面，要求数据规模大、覆盖广、具多样性，密级设置合规且质量高。对不同数据表征模式，如文本、图像、音频、视频数据的类别、语种等有详细规定。提供方式包括实体存储介质等，数据文件标识有命名规则。语料数据方面，通则有规范性要求，结构和内容分为多个区段并有特定说明，质量要具备规范性等，交付宜用实体存储介质。语料生产系统中，总体架构包含多个层次，语料库管理系统应具多种功能，工具链的标注工具需满足最低功能要求。语料生产过程涵盖资源数据检查，文本、图像、音频、视频语料的生产流程。语料的价值对齐需合法合规，具有正确价值导向且持续进行。数据安全方面，提供方要实施多方面安全策略和措施，对全过程进行安全性评价，建立相关制度，配置软硬组件，参与人员要签署保密协议并建立安全团队