基于OpenCV全景拼接算法的源图像点坐标转换求解

嘿，我正好熟悉OpenCV这个全景拼接的流程，帮你梳理下怎么把源图像上的点转到结果图里——其实核心是顺着拼接时的变换链走一遍，结合你给出的stitching_detailed步骤，咱们一步步来：

核心思路 #

源图像上的点要经历图像缩放→相机内参归一化→姿态旋转→球面投影→结果图偏移这几个变换，最终得到在全景图里的坐标。而result_mask的作用是帮你判断转换后的点是否落在有效拼接区域里（非空白区域）。

具体步骤&代码实现 #

结合你代码里的变量，我给你写个可直接用的转换函数，每个步骤都给你解释清楚：

// 函数功能：把指定源图像上的点转换到全景结果图的坐标
// 参数说明：
// - img_idx: 源图像在拼接序列中的索引（对应重排后的images数组）
// - src_point: 源图像上的原始坐标(x,y)
// - cameras: 经过光束平差和波浪校正后的相机参数数组
// - warper: 拼接时用的SphericalWarper对象
// - corners: 每个warped图像在结果图中的左上角坐标数组（步骤10里的corners）
// - compose_scale: 步骤10里计算的图像缩放因子
// - result_mask: 拼接得到的结果掩码（非零区域为有效像素）
Point2f convertSrcPointToResult(int img_idx, Point2f src_point, 
                                const vector<CameraParams>& cameras,
                                const Ptr<RotationWarper>& warper,
                                const vector<Point>& corners,
                                float compose_scale,
                                const Mat& result_mask) {
    // 1. 先对源点做缩放：因为步骤10里对原图做了resize，所以点也要同步缩放
    Point2f scaled_src(src_point.x * compose_scale, src_point.y * compose_scale);

    // 2. 构建和拼接时一致的内参矩阵K
    // 注意：焦距和主点都要乘compose_scale，因为图像被缩放了
    Mat K = Mat::eye(3, 3, CV_32F);
    float scaled_focal = cameras[img_idx].focal * compose_scale;
    Point2f scaled_pp = cameras[img_idx].pp * compose_scale;
    K.at<float>(0, 0) = scaled_focal;
    K.at<float>(1, 1) = scaled_focal;
    K.at<float>(0, 2) = scaled_pp.x;
    K.at<float>(1, 2) = scaled_pp.y;

    // 3. 将点转换到相机归一化平面（去除内参的影响）
    Mat src_homo = (Mat_<float>(3,1) << scaled_src.x, scaled_src.y, 1.0f);
    Mat normalized_point = K.inv() * src_homo;

    // 4. 应用相机旋转矩阵（经过光束平差和波浪校正后的最终姿态）
    Mat rotated_point = cameras[img_idx].R * normalized_point;

    // 5. 用球面映射器将3D归一化点投影到warped图像的2D坐标
    // 这里取rotated_point的x和y分量（因为归一化后z=1）
    Point2f warped_pt = warper->warpPoint(
        Point2f(rotated_point.at<float>(0), rotated_point.at<float>(1)), 
        K, cameras[img_idx].R
    );

    // 6. 加上该warped图像在全景结果图中的偏移量（corners是左上角坐标）
    Point2f result_pt(warped_pt.x + corners[img_idx].x, warped_pt.y + corners[img_idx].y);

    // 7. 用result_mask验证点是否在有效区域
    if (result_pt.x >= 0 && result_pt.x < result_mask.cols &&
        result_pt.y >= 0 && result_pt.y < result_mask.rows &&
        result_mask.at<uchar>(static_cast<int>(round(result_pt.y)), static_cast<int>(round(result_pt.x))) != 0) {
        return result_pt;
    } else {
        // 点落在拼接空白区，返回无效标记
        return Point2f(-1.0f, -1.0f);
    }
}

关键细节说明 #

1. 必须复用拼接时的变量：cameras、warper、corners、compose_scale这些变量都要和你拼接过程中生成的完全一致，不能重新计算，否则转换会出错（比如光束平差后的旋转矩阵是优化过的，不能用初始估计的）。
2. result_mask的用法：它是一张和全景图同尺寸的单通道图，非零像素表示该位置是由源图像拼接出来的有效区域。转换后的点如果落在非零区域，说明这个点在全景图里有实际内容；如果是零，那就是拼接后的空白区，你可以选择忽略或者做特殊处理。
3. 畸变校正（可选）：如果你的源图像有镜头畸变，需要在转换前先对源点做畸变校正（用undistortPoints函数），不过stitching_detailed默认的Homography估计是不处理畸变的，如果你之前没做畸变校正，这一步可以跳过。

使用示例 #

假设你有第0张源图像上的点Point2f(100, 200)，调用方式如下：

Point2f src_pt(100, 200);
Point2f result_pt = convertSrcPointToResult(0, src_pt, cameras, warper, corners, compose_scale, result_mask);
if (result_pt.x != -1 && result_pt.y != -1) {
    // 转换成功，处理result_pt
    cout << "转换后的坐标：(" << result_pt.x << ", " << result_pt.y << ")" << endl;
} else {
    cout << "该点落在全景图无效区域" << endl;
}

内容的提问来源于stack exchange，提问作者Paleo