OpenCV相机标定与3D重建(49)将视差图（disparity map）重投影到三维空间中函数reprojectImageTo3D()的使用

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

将视差图像重投影到3D空间。
cv::reprojectImageTo3D 是 OpenCV 库中的一个函数，用于将视差图（disparity map）重投影到三维空间中。这个过程涉及到使用从立体校准过程中获得的 Q 矩阵（也称为 disparity-to-depth 映射矩阵），它能将每个像素的视差值转换为 3D 坐标。

函数原型

void cv::reprojectImageTo3D
(InputArray 	disparity,OutputArray 	_3dImage,InputArray 	Q,bool 	handleMissingValues = false,int 	ddepth = -1 
)	

参数

• 参数disparity：输入的视差图，通常是一个单通道的浮点型或整数类型的图像，表示每个像素处的视差值。
• 参数_3dImage：输出的3D图像，结果是一个三通道的浮点型图像，每个像素包含该位置对应的3D坐标 (X, Y, Z)。
• 参数Q：4x4 的 disparity-to-depth 映射矩阵，用于将视差值转换为3D坐标。此矩阵由 stereoRectify 或其他相关函数生成。
• 参数handleMissingValues：可选参数，指示是否处理缺失值。如果设置为 true，则对于无效的视差值（例如，小于最小视差或大于最大视差的值），输出图像中的相应位置会被填充为特定值（通常是极大值或极小值）。默认值是 false，即不处理缺失值。
• 参数ddepth：可选参数，指定输出图像的深度。可以是 CV_32F（单精度浮点数）或 CV_64F（双精度浮点数）。如果设置为 -1，则输出图像将继承输入图像的深度。

该函数将单通道的视差图转换为一个三通道的图像，表示3D表面。也就是说，对于每个像素 (x, y) 及其对应的视差 d = disparity(x, y)，它计算：

$$\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]=Q\left[\begin{array}{c}x\\ y\\ \text{disparity}(x,y)\\ z\end{array}\right].$$

代码示例

#include <opencv2/opencv.hpp>
#include <iostream>using namespace cv;
using namespace std;int main()
{// 假设我们已经有了视差图和 Q 矩阵Mat disparity = /* 加载或计算得到的视差图 */;Mat Q = (Mat_<double>(4, 4) << /* ... */); // 4x4 disparity-to-depth 映射矩阵// 定义输出的3D图像Mat _3dImage;// 执行重投影reprojectImageTo3D(disparity, _3dImage, Q, true, CV_32F);// 可选：保存或显示结果// imwrite("3d_image.png", _3dImage);cout << "3D Image has been successfully computed." << endl;return 0;
}