TensorFlow 预训练目标检测模型集合

Tensorflow 提供了一系列在不同数据集上预训练的目标检测模型，包括 COCO 数据集、Kitti 数据集、Open Images 数据集、AVA v2.1 数据集、iNaturalist 物种检测数据集 和 Snapshot Serengeti 数据集。这些模型可以直接用于推理，特别是当你对这些数据集中已有的类别感兴趣时。同时，它们也可用于新数据集上训练模型时的初始化。

下表列出了每个预训练模型，包括：

• 模型名称，对应于 samples/configs 目录中用于训练此模型的配置文件；
• 包含预训练模型的 tar.gz 文件的下载链接；
• 模型速度 —— 我们报告的是每张 600x600 图像的运行时间（包括所有预处理和后处理），但请注意这些时间高度依赖于特定的硬件配置（这些时间是在 Nvidia GeForce GTX TITAN X 显卡上测得的），在很多情况下应被视为相对时间。同时注意，桌面 GPU 的时间并不总是反映移动设备的运行时间。例如，Mobilenet V2 在移动设备上比 Mobilenet V1 快，但在桌面 GPU 上略慢；
• 在 COCO 验证集的子集、Open Images 测试集、iNaturalist 测试集或 Snapshot Serengeti LILA.science 测试集上的检测器性能，以数据集特定的 mAP 度量。这里，数值越高越好，我们只报告四舍五入到整数的边界框 mAP。
• 输出类型（Boxes，如果适用的话还有 Masks）

你可以通过例如以下命令来解压缩每个 tar.gz 文件：

tar -xzvf ssd_mobilenet_v1_coco.tar.gz

在解压缩后的目录中，你将找到：

• 一个图模型（graph.pbtxt）
• 一个检查点（model.ckpt.data-00000-of-00001、model.ckpt.index、model.ckpt.meta）
• 一个将权重作为常量烘焙进图的冻结图模型（frozen_inference_graph.pb），用于直接推理（在 Jupyter 笔记本中试试这个！）
• 一个用于生成图的配置文件（pipeline.config）。这些直接对应于 samples/configs 目录中的配置文件，但通常具有修改后的得分阈值。在较重的 Faster R-CNN 模型的情况下，我们还提供了一个使用更少提议数量以提高速度的模型版本。
• 仅限移动模型：一个可以部署在移动设备上的 TfLite 文件（model.tflite）。

关于冻结推理图的一些说明：

• 如果你尝试评估冻结图，可能会发现一些模型的性能略低于我们在下表中报告的数值。这是因为在创建冻结图时，我们丢弃了得分低于阈值（通常为 0.3）的检测。这实际上相当于在检测器的精确度召回曲线上选择一个点（并丢弃该点之后的部分），这会对标准 mAP 度量产生负面影响。
• 我们的冻结推理图是使用 Tensorflow 的 v1.12.0 版本生成的，我们不保证这些图能与其它版本兼容；话虽如此，每个冻结推理图都可以使用你当前版本的 Tensorflow 重新生成，方法是重新运行 exporter，指向模型目录以及 samples/configs 中相应的配置文件。

COCO 训练模型

模型名称	速度(ms)	COCO mAP	输出
ssd_mobilenet_v1_coco	30	21	Boxes
ssd_mobilenet_v1_0.75_depth_coco ☆	26	18	Boxes
ssd_mobilenet_v1_quantized_coco ☆	29	18	Boxes
ssd_mobilenet_v1_0.75_depth_quantized_coco ☆	29	16	Boxes
ssd_mobilenet_v1_ppn_coco ☆	26	20	Boxes
ssd_mobilenet_v1_fpn_coco ☆	56	32	Boxes
ssd_resnet_50_fpn_coco ☆	76	35	Boxes
ssd_mobilenet_v2_coco	31	22	Boxes
ssd_mobilenet_v2_quantized_coco	29	22	Boxes
ssdlite_mobilenet_v2_coco	27	22	Boxes
ssd_inception_v2_coco	42	24	Boxes
faster_rcnn_inception_v2_coco	58	28	Boxes
faster_rcnn_resnet50_coco	89	30	Boxes
faster_rcnn_resnet50_lowproposals_coco	64		Boxes
rfcn_resnet101_coco	92	30	Boxes
faster_rcnn_resnet101_coco	106	32	Boxes
faster_rcnn_resnet101_lowproposals_coco	82		Boxes
faster_rcnn_inception_resnet_v2_atrous_coco	620	37	Boxes
faster_rcnn_inception_resnet_v2_atrous_lowproposals_coco	241		Boxes
faster_rcnn_nas	1833	43	Boxes
faster_rcnn_nas_lowproposals_coco	540		Boxes
mask_rcnn_inception_resnet_v2_atrous_coco	771	36	Masks
mask_rcnn_inception_v2_coco	79	25	Masks
mask_rcnn_resnet101_atrous_coco	470	33	Masks
mask_rcnn_resnet50_atrous_coco	343	29	Masks

注意：模型名称后的星号（☆）表示该模型支持 TPU 训练。

注意：如果你下载了量化模型的 tar.gz 文件并解压，将得到一组不同的文件 - 一个检查点、一个配置文件和 tflite 冻结图（文本/二进制）。

移动模型

模型名称	Pixel 1 延迟(ms)	COCO mAP	输出
ssd_mobiledet_cpu_coco	113	24.0	Boxes
ssd_mobilenet_v2_mnasfpn_coco	183	26.6	Boxes
ssd_mobilenet_v3_large_coco	119	22.6	Boxes
ssd_mobilenet_v3_small_coco	43	15.4	Boxes

Pixel4 Edge TPU 模型

模型名称	Pixel 4 Edge TPU 延迟(ms)	COCO mAP (fp32/uint8)	输出
ssd_mobiledet_edgetpu_coco	6.9	25.9/25.6	Boxes
ssd_mobilenet_edgetpu_coco	6.6	-/24.3	Boxes

Pixel4 DSP 模型

模型名称	Pixel 4 DSP 延迟(ms)	COCO mAP (fp32/uint8)	输出
ssd_mobiledet_dsp_coco	12.3	28.9/28.8	Boxes

Kitti 训练模型

模型名称	速度(ms)	Pascal mAP@0.5	输出
faster_rcnn_resnet101_kitti	79	87	Boxes

Open Images 训练模型

模型名称	速度(ms)	Open Images mAP@0.5[^2]	输出
faster_rcnn_inception_resnet_v2_atrous_oidv2	727	37	Boxes
faster_rcnn_inception_resnet_v2_atrous_lowproposals_oidv2	347		Boxes
facessd_mobilenet_v2_quantized_open_image_v4 [^3]	20	73 (faces)	Boxes

模型名称	速度(ms)	Open Images mAP@0.5[^4]	输出
faster_rcnn_inception_resnet_v2_atrous_oidv4	425	54	Boxes
ssd_mobilenetv2_oidv4	89	36	Boxes
ssd_resnet_101_fpn_oidv4	237	38	Boxes

iNaturalist 物种训练模型

模型名称	速度(ms)	Pascal mAP@0.5	输出
faster_rcnn_resnet101_fgvc	395	58	Boxes
faster_rcnn_resnet50_fgvc	366	55	Boxes

AVA v2.1 训练模型

模型名称	速度(ms)	Pascal mAP@0.5	输出
faster_rcnn_resnet101_ava_v2.1	93	11	Boxes

Snapshot Serengeti Camera Trap 训练模型

模型名称	COCO mAP@0.5	输出
faster_rcnn_resnet101_snapshot_serengeti	38	Boxes
context_rcnn_resnet101_snapshot_serengeti	56	Boxes

[^1]：提到的COCO mAP（平均精度均值）是在COCO 2014年的minival数据集上评估的。这个数据集的划分与COCO 2017年的Val数据集不同。用于分割的完整图像ID列表可以在这里找到。COCO评估协议的详细信息可以在MSCOCO evaluation protocol查看。

[^2]：这里提到的是PASCAL mAP，但采用了稍微不同的真正例计算方法。具体细节可以在Open Images evaluation protocols中查看，特别是oid_V2_detection_metrics部分。

[^3]：在训练过程中，非人脸框被丢弃，而在评估时，非人脸的真实框被忽略。

[^4]：这是Open Images挑战赛的度量标准，具体细节也可以在Open Images evaluation protocols中查看，特别是oid_challenge_detection_metrics部分。

对于Open Images evaluation protocols，它包含了Open Images数据集的评估协议和度量标准，这些协议和标准用来评估目标检测、图像分类等任务的性能。这些评估协议详细说明了如何计算精确度、召回率和平均精度（AP）等指标，以及如何处理边界框的匹配和重叠问题。具体的评估协议和度量标准文档可以在Open Images官方GitHub页面或相关技术论文中找到。