ISP Pipeline

系列文章目录

---

---

前言

---

一、RAW域

1. 黑电平校正（BLC）
2. 数字增益调整（DGain）
3. 自动白平衡（AWB）
4. 局部色调映射（LTM）
5. 坏点修复（DPC）
6. 几何色差校正（GCAC）
7. 去马赛克（Demosaic）

1电平校正（BLC - Black Level Correction）
通过对传感器输出的 RAW 数据进行黑电平校正，去除图像传感器带来的固定偏移噪声。

主要目的是消除传感器的偏置电压，确保图像的暗部细节正常。
2. 数字增益调整（DGain - Digital Gain）
对经过黑电平校正后的图像应用数字增益，特别是在低光环境中可以增强图像亮度。

此增益用于提高传感器的响应，放大图像信号，但同时会放大噪声。
3.自动白平衡（AWB - Auto White Balance）
根据图像的颜色信息调整红、绿、蓝三个通道的增益，使图像中白色的显示更加自然。
调整每个颜色通道的增益来平衡颜色，确保图像的色彩呈现准确。
4局部色调映射（LTM - Local Tone Mapping）
根据局部亮度对图像进行色调映射，提升图像的动态范围，增加亮部和暗部细节的表现。

主要用于增强图像对比度，改善局部区域的亮度。
5.坏点修复（DPC - Defective Pixel Correction）
修复传感器中的坏点（如死亡像素），通过邻近像素的插值填充坏点。

目的是去除图像中由于传感器缺陷引起的黑点或亮点。
6.几何色差校正（GCAC - Geometrical Chromatic Aberration Correction）
校正镜头引入的色差，特别是图像边缘区域的色彩错位现象。

校正因镜头光学特性引入的色彩不对齐问题，避免图像边缘模糊和色彩失真。
7.去马赛克（Demosaic）
将 Bayer 格式的图像数据转换为完整的 RGB 图像。Bayer 格式中每个像素只有一种颜色，通过去马赛克算法填充其他颜色的信息。

这是将原始的单通道 Bayer 图像数据转换为 RGB 三通道数据的关键步骤。

二、RGB域

颜色校正矩阵（CCM）
（可选）伽马校正
（可选）RGB 去噪与抖动处理
（可选）去雾处理

1. 颜色校正矩阵（CCM - Color Correction Matrix）

颜色校正矩阵用于修正由于传感器色彩响应不一致导致的颜色失真。通过应用一个 3x3 的颜色转换矩阵，将图像中的红、绿、蓝通道进行线性变换，使得图像的颜色更加准确。
这一步通常在 RGB 数据生成后立即应用，以确保图像的色彩更贴近自然真实的场景。

2. （可选）伽马校正（Gamma Correction）

伽马校正用于调整图像的亮度响应曲线，使图像在显示设备上呈现出更自然的亮度分布。人眼对亮度的感知是非线性的，伽马校正通过对亮度的非线性调整，增强图像的亮暗对比，避免过亮或过暗的区域丢失细节。
伽马校正是一个可选步骤，根据具体的应用需求，是否需要进行亮度调整。

RGB域的处理顺序通常是在生成 RGB 数据后立即进行的颜色校正矩阵（CCM），然后可以选择性地应用伽马校正、去噪、抖动和去雾处理。这些步骤旨在提高图像的色彩准确性、对比度和清晰度，确保图像在显示设备上呈现出最佳效果。

3. （可选）RGB 去噪与抖动处理（RGB Dithering and Noise Reduction）

这一步通常包括对图像进行去噪处理，以及在量化过程中加入抖动处理以避免色带现象。抖动处理通过在颜色量化中加入小的随机噪声，平滑色阶过渡区域，减少量化引起的视觉失真。
去噪处理会减少图像中的随机噪声，使图像更加干净

4. （可选）去雾处理（Dehaze）

去雾处理用于提升在有雾霾或大气散射影响下的图像对比度。该步骤可以通过分析图像的亮度直方图，增强图像的局部对比度，改善在远景或恶劣天气下的视觉效果。
去雾处理可选用于特定场景需求，比如户外或者监控系统中。

三、YUV域

颜色空间转换（CSC）
对比度提升与缩放（CDS）
锐化处理（Sharpen）
YUV 3D 降噪（YUV 3DNR）
图像缩放（Scaling）
YUV 抖动处理（YUV Dithering）

1. 颜色空间转换（CSC - Color Space Conversion）

将 RGB 颜色空间转换为 YUV 颜色空间。这是 YUV 处理的第一步，RGB 三个通道分别表示红、绿、蓝的颜色信息，而 YUV 则将亮度（Y）和色度（U、V）分离开来，更适合用于压缩与传输。
颜色空间转换的主要目的是为了兼顾压缩效率和视觉效果，YUV 格式在视频传输中应用广泛。

2. 对比度提升与缩放（CDS - Contrast Enhancement and Scaling）

在此步骤中，图像会进行对比度调整，提升亮暗对比，使得细节更加明显。此外，该步骤还可能包含缩放操作，将图像调整到目标分辨率。
对比度调整能够增强图像的视觉冲击力，提升暗部和亮部区域的细节表现。
缩放是为了匹配后续处理或显示需求。

3. 锐化处理（Sharpen）

在此步骤中，图像的边缘细节会被增强，使得图像看起来更加清晰。锐化处理通过增强边缘的对比度，使边界更加分明，提升图像的清晰度。
这一步常用于减少图像模糊，尤其是在缩放后，细节可能会丢失或变得模糊。

4. YUV 3D 降噪（YUV 3DNR - 3D Noise Reduction）

这是降噪操作，通常在视频处理中使用，通过结合时域和空间域的信息来去除图像噪声。YUV 3DNR 处理会综合多个帧的信息，减少噪声同时保持运动区域的清晰度。
该步骤特别适合减少视频帧中的动态噪声，以及在多帧图像中去除随时间变化的噪声。

5. 图像缩放（Scaling）

对图像进行多分辨率缩放，生成不同尺寸的 YUV 图像，以满足不同的应用场景。这一步根据需求缩小或放大图像。
缩放处理可以生成适用于不同设备的图像，例如为高分辨率屏幕提供高清图像，也可以为低分辨率设备生成小尺寸图像。

6. YUV 抖动处理（YUV Dithering）

抖动处理通过在颜色量化过程中加入噪声，以减少色彩量化导致的颜色带现象。此步骤将颜色转换过程中可能出现的平滑区域进行处理，使色彩过渡更加自然。
抖动处理对于图像和视频的视觉质量非常重要，尤其是在低位深度的色彩空间中。

---

总结

1. 黑电平校正（BLC）
2. 数字增益调整（DGain）
3. 自动白平衡（AWB）
4. 局部色调映射（LTM）
5. 坏点修复（DPC）
6. 几何色差校正（GCAC）
7. 去马赛克（Demosaic）
8. 颜色校正矩阵（CCM）
9. （可选）伽马校正
10. （可选）RGB 去噪与抖动处理
11. （可选）去雾处理
12. 颜色空间转换（CSC）
13. 对比度提升与缩放（CDS）
14. 锐化处理（Sharpen）
15. YUV 3D 降噪（YUV 3DNR）
16. 图像缩放（Scaling）
17. YUV 抖动处理（YUV Dithering）