yolo v5 中 letterbox对不规则矩形框的输入调整

在对数据或特征的处理中，为了避免输入图像或特征，经过resize等等操作，改变了目标特征的尺度信息，一般会引入一些操作，比如：

1. 在特征维度，加入SPP（空间金字塔池化），这样不同大小的输入图像，经过该层的处理，输出大小都保持了一致
2. 在输入图像阶段，也可以先采用pad的操作，补齐输入图像，避免变形

本文，就是借鉴yolo系列对输入图像前处理的一个操作，对不同大小的图像，先经过长边等比例resize后，pad到一样大小的尺寸。

具体的操作代码如下：

import cv2
import numpy as np
import matplotlib.pyplot as plt
import xml.etree.ElementTree as ETdef parse_xml(path):tree = ET.parse(path)root = tree.findall('object')class_list = []boxes_list = []for sub in root:xmin = float(sub.find('bndbox').find('xmin').text)xmax = float(sub.find('bndbox').find('xmax').text)ymin = float(sub.find('bndbox').find('ymin').text)ymax = float(sub.find('bndbox').find('ymax').text)boxes_list.append([xmin, ymin, xmax, ymax])class_list.append(sub.find('name').text)return class_list, np.array(boxes_list).astype(np.int32)def letterbox(img, new_shape=(640, 640), color=(114, 114, 114), auto=True, scaleFill=False, scaleup=True, stride=32):"""用于将输入的图像进行长边resize和填充，以满足一定的约束条件。函数的输入参数包括：im：输入的图像，可以是任意尺寸和通道数的numpy数组。new_shape：目标尺寸，可以是一个整数或一个元组。如果是一个整数，则表示将图像resize成一个正方形；如果是一个元组，则表示将图像resize成指定的宽度和高度。color：填充颜色，可以是一个整数或一个元组。如果是一个整数，则表示使用灰度值为该整数的像素进行填充；如果是一个元组，则表示使用RGB颜色值进行填充。auto：是否启用自动计算填充大小。如果为True，则会根据指定的stride值计算最小的填充大小，以满足长宽比和stride倍数的约束条件；如果为False，则会根据指定的scaleFill和scaleup参数计算填充大小。scaleFill：是否启用拉伸填充。如果为True，则会拉伸图像以填满目标尺寸；如果为False，则会根据指定的scaleup参数决定是否缩放图像。scaleup：是否允许放大图像。如果为True，则允许将输入图像放大到目标尺寸；如果为False，则只能将输入图像缩小到目标尺寸。stride：stride值，用于计算最小填充大小。"""# Resize image to a 32-pixel-multiple rectangle https://github.com/ultralytics/yolov3/issues/232shape = img.shape[:2]  # current shape [height, width]if isinstance(new_shape, int):new_shape = (new_shape, new_shape)# Scale ratio (new / old)r = min(new_shape[0] / shape[0], new_shape[1] / shape[1])   # 短边ratioif not scaleup:  # only scale down, do not scale up (for better test mAP)r = min(r, 1.0)# Compute paddingratio = r, r  # width, height ratiosnew_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]  # wh paddingif auto:  # minimum rectangledw, dh = np.mod(dw, 64), np.mod(dh, 64)  # wh paddingelif scaleFill:  # stretchdw, dh = 0.0, 0.0new_unpad = (new_shape[1], new_shape[0])ratio = new_shape[1] / shape[1], new_shape[0] / shape[0]  # width, height ratiosdw /= 2  # divide padding into 2 sidesdh /= 2if shape[::-1] != new_unpad:  # resizeimg = cv2.resize(img, new_unpad, interpolation=cv2.INTER_LINEAR)top, bottom = int(round(dh - 0.1)), int(round(dh + 0.1))left, right = int(round(dw - 0.1)), int(round(dw + 0.1))img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)  # add borderreturn img, ratio, (dw, dh)def main(imgPath, drawBox_flag = True):xmlPath = imgPath[:-3] + 'xml'print(xmlPath, imgPath)img = cv2.imread(imgPath)labels, boxes = parse_xml(xmlPath)print(labels, boxes)img2, ratio, pad = letterbox(img.copy(), new_shape=(512, 512), auto=False, scaleup=True)sample1 = img.copy()    # origin imagesample2 = img2.copy()   # after letterbox imageprint(sample1.shape, sample2.shape)if drawBox_flag:new_boxes = np.zeros_like(boxes)new_boxes[:, 0] = ratio[0] * boxes[:, 0] + pad[0]  # pad widthnew_boxes[:, 1] = ratio[1] * boxes[:, 1] + pad[1]  # pad heightnew_boxes[:, 2] = ratio[0] * boxes[:, 2] + pad[0]new_boxes[:, 3] = ratio[1] * boxes[:, 3] + pad[1]print(new_boxes)for box in boxes:cv2.rectangle(sample1, (box[0], box[1]), (box[2], box[3]), (255, 0, 0), 1)for box_n in new_boxes:cv2.rectangle(sample2, (box_n[0], box_n[1]), (box_n[2], box_n[3]), (0, 255, 0), 1)plt.subplot(121)plt.imshow(sample1)plt.subplot(122)plt.imshow(sample2)plt.show()# cv2.imwrite(r'F:\labelImg\1.jpg', sample1)# cv2.imwrite(r'F:\labelImg\2.jpg', sample2)if __name__ == '__main__':imgPath = r'F:\labelImg\catDog.jpg'main(imgPath, drawBox_flag=True)

展示结果如下：

上面图像的尺寸比较的大，超过了512大小。而低于小于512大小的图像，是如何的呢？

scaleup：是否允许放大图像。

• 如果为True，则允许将输入图像放大到目标尺寸；
• 如果为False，则只能将输入图像缩小到目标尺寸。

当scaleup=False时，如下，可以发现，原始图像并没有被放大，而是直接pad操作了。这是因为为scaleup=False时，只能将输入图像缩小到目标尺寸，无法先放大操作：

而当scaleup=True时，如下，就发现他是先放大，然后再进行pad操作：

可以发现，

• scaleup设定为False时候，只会对大于new shape的图像，进行缩放pad；
• 当为True时，就不在only scale down, do not scale up了，适用的范围更广。注释里面说是为了better test mAP。