YOLOv5 V7.0 - rknn模型的验证 输出精度(P)、召回率(R)、mAP50、mAP50-95

1.简介

RKNN官方没有提供YOLOv5模型的验证工具，而YOLOv5自带的验证工具只能验证pytorch、ONNX等常见格式的模型性能，无法运行rknn格式。考虑到YOLOv5模型转换为rknn会有一定的精度损失，但是需要具体数值才能进行评估，所以需要一个可以运行rknn格式的YOLOv5验证工具。

参考目标检测 YOLOv5 - Rockchip rknn模型的测试 包括精度，召回率，mAP等详细信息，这篇文章中的验证工具是基于YOLOv5和RKNN开发环境的旧版本来开发的（YOLOv5 V6.2和rknn-toolkit v1.7.1），无法运行基于YOLOv5 v7.0和rknn-toolkit2 v1.6.0开发的RKNN模型，所以参考这个验证工具里面的RKNN模型的使用方式，和RKNN官方的Python Demo，实现了YOLOv5 V7.0版本的rknn验证工具。

GitHub源码地址：https://github.com/shiyinghan/yolov5_7.0_val_rknn

2.使用方法

2.1 配置RKNN开发环境

参考RKNN-Toolkit2 里面v1.6.0的Quick Start 文档 的第三章“准备开发环境”，安装 RKNN-Toolkit2环境和板端 RKNPU2环境（不确定rknn-toolkit2的其他版本的环境好不好使，工具参考的是rknn-toolkit2的v1.6.0的Python Demo）。
Quick Start 文档 ：01_Rockchip_RKNPU_Quick_Start_RKNN_SDK_V1.6.0_CN.pdf

2.2 配置YOLOv5 V7.0的运行环境

下载YOLOv5的v7.0版本并解压，然后下载yolov5_7.0_val_rknn解压并覆盖YOLOv5原版V7.0的文件夹。最后安装YOLOv5 V7.0需要的python依赖库，这里需要注意上一步配置RKNN开发环境的时候，可能安装一下老版本的python依赖库，直接使用YOLOv5 V7.0的requirements.txt安装依赖库可能出现错误，需要手动指定依赖库的版本。

2.3 设置data文件夹下面的yaml配置文件

为了区分原版的val.py，本验证工具使用的时候，需要指定task为test，所以配置文件也需要指定test目录的路径，如下：

2.4 连接开发板（必须）

本验证工具不支持模拟器运行，需要连接实机进行测试，否则会提示以下错误：

命令行里面target参数也需要配置为对应的参数，这里使用的是RK3568开发板，所以target设置为’RK3568’。

2.5 运行验证工具

命令行如下：

python val_rknn.py --data coco128_rknn.yaml --batch-size 1 --task 'test'  --weights ./yolov5s-int8.rknn --target 'RK3568'  --anchors ./anchors_yolov5.txt

3.运行效果

yolov5s量化版本rknn模型：


yolov5s非量化版本rknn模型：


yolov5s原版pt模型：

4.结论

类型	精度	召回率	mAP50	mAP50-95
pt模型	0.719	0.625	0.714	0.475
RKNN量化版	0.688	0.655	0.699	0.455
RKNN非量化版	0.69	0.631	0.695	0.45

可以看出，对比pt原版模型，转换好的rknn的量化和非量化版本的模型精度和mAP都有一些下降。使用rknn模型的项目中，pt原版模型的性能参数只能作为一个参考，需要实际算出rknn模型的性能参数才行。