T/CES 208-2023 电力视觉检测算法评价方法
- 文件大小：22.43 MB
- 标准类型：团体标准规范
- 标准语言：中文版
- 文件类型：PDF文档
- 更新时间：2025-06-24
- 下载次数：
- 标签：
资料介绍
根据T/CES 208-2023《电力视觉检测算法评价方法》团体标准，以下是核心内容的详细总结：
1. 范围与适用场景
- 范围：规范电力视觉检测算法的指标计算、数据集质量要求、测试流程及质量评价方法。
- 适用场景：
- 设备缺陷检测：输电、变电、配电等场景的可见光/红外/紫外图像。
- 违章识别：电力作业现场的行为、装置、管理违章视觉检测。
- 任务类型：目标检测、图像分割、图像分类模型。
2. 关键术语定义
- 视觉检测：基于可见光、红外、紫外图像的分类、检测、分割模型预测。
- 目标尺寸分类：
- 大目标：尺寸 > 96×96像素
- 中目标：32×32像素 ≤ 尺寸 ≤ 96×96像素
- 小目标：尺寸 ≤ 32×32像素
- 数据集类型：训练集（模型构建）、测试集（模型评估）。
3. 核心评价指标与计算
性能指标
| 指标 | 适用模型 | 计算公式 | 含义 |
|---|---|---|---|
| 准确率 (A) | 检测、分类 | A = /frac{TP + TN}{TP + TN + FP + FN} | 总体分类正确率 |
| 精确率 (P) | 检测、分类 | P = /frac{TP}{TP + FP} | 正样本预测准确率 |
| 召回率 (R) | 检测、分类 | R = /frac{TP}{TP + FN} | 正样本识别完整率 |
| F1分数 | 检测 | F1 = /frac{2 /times P /times R}{P + R} | 精确率与召回率的调和平均 |
| 平均精度 (AP) | 检测 | AP = /int_0^1 p(r) dr | 精确率-召回率曲线下面积 |
| 平均交并比 (MIOU) | 分割 | MIOU = /frac{1}{M+1} /sum_{i=0}^M /frac{a_{ii}}{/sum_j a_{ij} + /sum_j (a_{ji} - a_{ii})} | 分割区域重叠精度 |
效率性
- 推理时间：
V_{/text{inf}} = /frac{T}{N}（单张图片平均处理时间）。
稳定性
- 干扰稳定性：噪声/亮度/平移扰动后指标变化率（
V_{/text{int}}）。 - 有损稳定性：压缩/损坏后指标变化率（
V_{/text{los}}）。
可信性
- 方差评估：交叉验证多次测试的精确率方差（
S^2），方差越小可信性越高。
4. 评价数据集质量要求
可见光图像
- 分辨率 ≥ 1280×720像素
- 色差 ≤ 0.08，信噪比 ≥ 50dB
- 照度均匀度 ≥ 90%
红外图像
- 分辨率 ≥ 640×480像素
- 热灵敏度 ≤ 50mK
- 波长范围：7500–14000nm
紫外图像
- 分辨率 ≥ 320×240像素
- 波长范围：185–260nm
通用要求：
- 测试集需独立于训练集；
- 多目标场景中，每类样本占比 ≥ 20%；
- 数据格式为Pascal VOC（符合Q/GDW 12118.3）。
5. 评价流程与方法
评价流程
- 提交申请：提供模型基础信息（场景、框架、样本规模等）。
- 确定任务：明确检测/分割/分类任务及光线场景（可见光/红外/紫外）。
- 提交模型：以Docker镜像提供，API接口需支持JSON格式（详见表1、表2规范）。
- 选择指标：根据任务类型选取对应性能指标（如检测模型需计算AP、F1等）。
- 制作数据集：按第6章要求构建测试集。
- 模型测试：分任务执行测试（流程图见下文）。
- 质量评价：综合指标判定等级（A-E级）。
模型测试方法
-
目标检测模型流程：
逐帧对比标注与预测结果，统计TP/FP/FN/TN，计算AP、F1等指标。
-
图像分割模型流程：
逐像素比对预测与标注区域，计算MIOU。
-
图像分类模型流程：
校验预测类别与标注一致性，统计准确率、召回率（多分类需计算均值）。
交叉验证
- 测试集充足时，分割为多份进行多次测试，取指标平均值以降低随机误差。
6. 模型质量等级判定
通用规则
- 等级定义：
- A级：优秀（直接使用）
- B级：良好（微调后使用）
- C级：一般（需优化）
- D级：较差（大幅修改）
- E级：不合格（重建模型）
- 判定逻辑：所有指标需同时满足等级阈值，单指标不达标则降级（如"B+"或"A-"）。
关键场景阈值
| 模型类型 | 光线场景 | A级阈值 | B级阈值 |
|---|---|---|---|
| 目标检测（大目标） | 可见光 | 精确率/召回率/AP ≥ 90% | ≥ 85% |
| 红外/紫外 | ≥ 80% | ≥ 75% | |
| 图像分割 | 可见光 | MIOU ≥ 80% | ≥ 75% |
| 红外/紫外 | MIOU ≥ 80% | ≥ 75% | |
| 图像分类 | 可见光 | 准确率/召回率 ≥ 90% | ≥ 85% |
| 红外/紫外 | ≥ 80% | ≥ 75% |
注：中目标/小目标的检测模型阈值比大目标降低5–10%。
7. 附录参考
- 附录A：提供模型等级判定的详细阈值表（如可见光检测模型A级需满足精确率≥90%等）。
- 测试报告：需包含指标计算结果、稳定性分析及等级判定依据。
此标准为电力视觉检测算法提供了系统化的量化评价框架，覆盖模型开发、测试到落地的全生命周期质量控制。