【多模态/CV】图像数据增强数据分析和处理

note

• 多模态大模型训练前，图片数据处理的常见操作：分辨率调整、网格畸变、水平翻转、分辨率调整、随机crop、换颜色、多张图片拼接、相似图片检测并去重等

一、分辨率调整

from PIL import Image
def resize_image(original_image_path, save_image_path, reduction_percentage):# 打开图片文件img = Image.open(original_image_path)# 获取原始图片的尺寸original_width, original_height = img.size# 计算新的尺寸，根据减少的百分比new_width = int(original_width * (1 - reduction_percentage / 100.0))new_height = int(original_height * (1 - reduction_percentage / 100.0))# 使用LANCZOS滤镜来保持图片质量img_resized = img.resize((new_width, new_height), Image.LANCZOS)# 如果图像有透明通道，转换为RGB模式if img_resized.mode == 'RGBA':img_resized = img_resized.convert('RGB')# 保存缩小后的图片img_resized.save(save_image_path)# 示例：
# 降低90%的分辨率
resize_image(one_image_path, resize_save_path, 90)

二、适当裁剪图片

# 从中心裁剪图片(高分辨率)
from PIL import Image
def crop_image_by_percentage(crop_percentage, input_path, output_path):# 打开图片文件img = Image.open(input_path)# 获取图片的原始尺寸original_width, original_height = img.size# 计算裁剪区域的宽度和高度，即原始尺寸的(100-crop_percentage)%crop_width = int(original_width * (1 - crop_percentage / 100))crop_height = int(original_height * (1 - crop_percentage / 100))# 计算裁剪区域的起始坐标left = (original_width - crop_width) / 2top = (original_height - crop_height) / 2right = left + crop_widthbottom = top + crop_height# 确保裁剪区域不超出图片边界left = max(0, left)top = max(0, top)right = min(original_width, right)bottom = min(original_height, bottom)# 裁剪图片cropped_img = img.crop((left, top, right, bottom))# 如果图像有透明通道，转换为RGB模式if cropped_img.mode == 'RGBA':cropped_img = cropped_img.convert('RGB')# 保存裁剪后的图片cropped_img.save(output_path)# 可以选择显示图片，如果需要的话# cropped_img.show()# 裁剪掉40%
crop_image_by_percentage(40, resize_save_path, crop_save_path)

三、网格畸变、水平翻转、平移缩放、旋转

# 数据增强: 网格畸变、水平翻转、分辨率调整、随机crop、换颜色
import cv2
import albumentations as A
import matplotlib.pyplot as plt# 读取图片
# image_path = "path/to/your/image.jpg"
image_path = "G9_7097.jpg"
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 转换为RGB# 定义数据增强管道
transform = A.Compose([A.HorizontalFlip(p=1),            # 水平翻转# A.VerticalFlip(p=0.5),              # 垂直翻转# A.RandomRotate90(p=0.5),            # 随机旋转90度# A.Transpose(p=0.5),                 # 交换行列(会旋转90度)# A.ShiftScaleRotate(shift_limit=0.0625, scale_limit=0.1, rotate_limit=10, p=1),  # 平移、缩放、旋转A.OpticalDistortion(distort_limit=0.05, shift_limit=0.05, p=0.5),  # 光学畸变(颜色可能会改变)# A.GridDistortion(p=0.5),            # 网格畸变# A.ElasticTransform(alpha=1, sigma=50, alpha_affine=50, p=0.5)  # 弹性变换(会有拉伸效果)
])# 应用数据增强
augmented = transform(image=image)
augmented_image = augmented['image']
# 转换回BGR格式以便保存
augmented_image = cv2.cvtColor(augmented_image, cv2.COLOR_RGB2BGR)
# 保存处理后的图片
save_path = = "save_G9_7097.jpg"
cv2.imwrite(save_path, augmented_image)# 显示原图和增强后的图片
fig, ax = plt.subplots(1, 2, figsize=(12, 6))
ax[0].imshow(image)
ax[0].set_title('Original Image')
ax[0].axis('off')
ax[1].imshow(augmented_image)
ax[1].set_title('Augmented Image')
ax[1].axis('off')
save_path = "G9_7097_diff.jpg"
plt.savefig(save_path)
plt.show()

我这里只是水平翻转，如果需要用其他的旋转等操作，可以修改albumentations.Compose里的参数。这里的水平翻转后的结果如下图：

如果只需要翻转：

def fanzhuan_func(image_path, save_path):import cv2import albumentations as Aimport matplotlib.pyplot as plt# 读取图片# image_path = "/Users/guomiansheng/Desktop/LLM/ChatGLM2-6B/a_data/a_xiaopeng/pic2nl/two_car/G9_7097.jpg"image = cv2.imread(image_path)image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 转换为RGB# 定义数据增强管道transform = A.Compose([A.HorizontalFlip(p=1)  # 只进行水平翻转])# 应用数据增强augmented = transform(image=image)augmented_image = augmented['image']# 转换回BGR格式以便保存或显示augmented_image_bgr = cv2.cvtColor(augmented_image, cv2.COLOR_RGB2BGR)# 保存处理后的图片cv2.imwrite(save_path, augmented_image_bgr)

四、改变图片的背景颜色

在上面的基础上修改transform即可：

# 自定义变换函数，改变背景颜色并使图像变淡
class LightenBackground(A.ImageOnlyTransform):def __init__(self, color=(255, 255, 255), alpha=0.5, always_apply=False, p=1.0):super().__init__(always_apply, p)self.color = colorself.alpha = alphadef apply(self, img, **params):# 创建与图像相同大小的纯色图像background = np.full_like(img, self.color, dtype=np.uint8)# 混合图像和背景颜色return cv2.addWeighted(img, 1 - self.alpha, background, self.alpha, 0)# 读取图片
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 转换为RGB# 定义数据增强管道，包括自定义的背景颜色变换
transform = A.Compose([LightenBackground(color=(255, 255, 0), alpha=0.1, p=1),  # 淡黄色背景，透明度为0.1
])

关于颜色的相关设定：

1. 白色：
LightenBackground(color=(255, 255, 255), alpha=0.3, p=1)2. 黑色：
LightenBackground(color=(0, 0, 0), alpha=0.3, p=1)3. 红色：
LightenBackground(color=(255, 0, 0), alpha=0.3, p=1)4. 绿色：
LightenBackground(color=(0, 255, 0), alpha=0.3, p=1)5. 蓝色：
LightenBackground(color=(0, 0, 255), alpha=0.3, p=1)6. 黄色：
LightenBackground(color=(255, 255, 0), alpha=0.3, p=1)7. 青色：
LightenBackground(color=(0, 255, 255), alpha=0.3, p=1)8. 品红色：
LightenBackground(color=(255, 0, 255), alpha=0.3, p=1)9. 灰色：
LightenBackground(color=(128, 128, 128), alpha=0.3, p=1)10. 橙色：
LightenBackground(color=(255, 165, 0), alpha=0.3, p=1)

五、图片相似度检测

ORB(Oriented FAST and Rotated BRIEF) 是一种计算机视觉中常用的特征检测算法,它将 FAST 关键点检测和 BRIEF 描述符生成结合起来，同时引入了方向性和尺度不变性。使用 ORB 进行特征检测可以有以下几个应用:

• 目标识别:在多幅图像中检测相同的ORB 特征点,并通过这些点的匹配确定目标物体的位置和方向
• 图像匹配:在两幅图像中检测 ORB 特征点,并通过这些点的匹配来确定它们之间的相似度,可以用于图像拼接、图像比较等任务
• 三维重建:在多幅图像中检测 ORB 特征点,并根据这些点的位置和方向计算出相机位姿,可以用于三维重建和增强现实等应用。
• 目标跟踪: 在视频中检测 ORB 特征点,并通过这些点的跟踪来确定目标的运动轨迹和速度。

import cv2def compute_orb_similarity(imageA_path, imageB_path):# 读取图片imageA = cv2.imread(imageA_path)imageB = cv2.imread(imageB_path)# 初始化ORB检测器orb = cv2.ORB_create()# 寻找关键点和描述符keypointsA, descriptorsA = orb.detectAndCompute(imageA, None)keypointsB, descriptorsB = orb.detectAndCompute(imageB, None)# 初始化BFMatcherbf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)# 匹配描述符matches = bf.match(descriptorsA, descriptorsB)# 按照距离排序matches = sorted(matches, key=lambda x: x.distance)# 计算匹配关键点数量num_matches = len(matches)# 计算平均距离if num_matches > 0:avg_distance = sum(match.distance for match in matches) / num_matcheselse:avg_distance = float('inf')# 计算匹配的比例ratio_matches = num_matches / max(len(keypointsA), len(keypointsB))return num_matches, avg_distance, ratio_matches# 示例使用
imageA_path = "奇瑞汽车_瑞虎8_SUV_蓝色_前方_苏LA006S_右前_32a.jpg"
imageB_path = "奇瑞汽车_瑞虎8_SUV_银色_前方_湘FCG315_左前_35a.jpg"
# imageB_path = "雷克萨斯_未知_SUV_白色_右边_鄂AS600T_右前_815.png"
# imageB_path = "奥迪_未知_轿车_白色_前方_未知_左后_1.jpg"
num_matches, avg_distance, ratio_matches = compute_orb_similarity(imageA_path, imageB_path)# 评估: 匹配的关键点数量和匹配比例越高，平均距离越低，表示图片之间的相似度越高。
# 三个指标：计算匹配关键点数量、平均距离和匹配比例
print(f"Number of Matches: {num_matches}")
print(f"Average Distance: {avg_distance}")
print(f"Ratio of Matches: {ratio_matches:.2f}")

从上面结果可以验证还是有效的，同是奇瑞汽车时会这个匹配的关键点数量和匹配比例为0.29，如果是奇瑞和雷克萨斯则是0.26，说明图片越不相似。

六、图片复制

def copy_func(source_folder, destination_folder, now_image, target_image):import osimport shutil# 定义源文件夹和目标文件夹# source_folder = 'path/to/a'# destination_folder = 'path/to/b'# 确保目标文件夹存在，如果不存在则创建os.makedirs(destination_folder, exist_ok=True)# 构建源文件路径和目标文件路径source_file = os.path.join(source_folder, now_image)destination_file = os.path.join(destination_folder, target_image)# 复制文件try:shutil.copy2(source_file, destination_file)print(f"Copied {source_file} to {destination_file}")except FileNotFoundError:print(f"File {source_file} not found.")except Exception as e:print(f"An error occurred: {e}")print("File copy operation completed.")

七、拼接多张图片

这里一般还有个要求，如果是横向水平拼接，一般将所有图片调整为所有图片中最小的高度（进行等比例缩放）：

# 按照最小高度，对不同图片进行等比例缩放
from PIL import Image
import matplotlib.pyplot as plt
import osdef resize_images_to_same_height(image_paths, target_height):resized_images = []for image_path in image_paths:image = Image.open(image_path)# Calculate the new width to maintain the aspect ratioaspect_ratio = image.width / image.heightnew_width = int(target_height * aspect_ratio)# Resize the imageresized_image = image.resize((new_width, target_height), Image.Resampling.LANCZOS)resized_images.append(resized_image)return resized_imagesdef concatenate_images_horizontally(images, output_path):# Find the total width of the final imagetotal_width = sum(image.width for image in images)# Find the maximum height (all images have the same height after resizing)max_height = images[0].height# Create a new image with the appropriate sizeconcatenated_image = Image.new('RGB', (total_width, max_height))# Paste each image into the new imagecurrent_x = 0for image in images:concatenated_image.paste(image, (current_x, 0))current_x += image.width# Display the concatenated imagedisplay(concatenated_image)# Save the concatenated imageconcatenated_image.save(output_path)# 获取文件夹中的图片路径
folder_path = "/a_ex_all_pinpai_car/"
files = os.listdir(folder_path)
image_paths = [os.path.join(folder_path, file) for file in files if file.endswith(('jpg', 'jpeg', 'png'))]# 动态确定目标高度（最小高度）
heights = [Image.open(image_path).height for image_path in image_paths]
target_height = min(heights)# Resize images to the same height
resized_images = resize_images_to_same_height(image_paths, target_height)# 输出路径
output_path = os.path.join(folder_path, 'concatenated_image.jpg')# Concatenate images horizontally
concatenate_images_horizontally(resized_images, output_path)

这里拼接后的结果如下图：

备注：大模型的训练少不了算力资源，博主和一些平台有合作~
高性价比4090算力租用，注册就送20元代金券，更有内容激励活动，点击。
GPU云服务器租用，P40、4090、V100S多种显卡可选，点击。

Reference

[1] 计算两幅图像的相似度（PSNR、SSIM、MSE、余弦相似度、MD5、直方图、互信息、Hash）& 代码实现 与举例