C++基于Homography实现图像拼接仅输出单张图像问题求解

核心故障原因 #

代码存在多处逻辑错误，直接导致变换后的图像被裁剪、位置偏移，无法完成拼接：

• 变量不统一：特征提取使用output/output1图像，但投影变换使用的是frame/frame2，如果两组变量不是同一帧图像，特征匹配和单应性计算完全无效
• 重复特征提取：先执行detect+compute，又调用detectAndCompute，重复操作会覆盖已提取的关键点和描述子，可能导致匹配结果异常
• 投影变换输出尺寸错误：warpPerspective的输出尺寸设为和原frame2相同，变换后超出该尺寸的内容会被直接裁剪，拼接需要的扩展区域内容完全丢失
• 单应性矩阵对应关系错误+ROI位置设置错误：计算的是scene（第二张图的关键点）到obj（第一张图的关键点）的变换矩阵，变换后的第二张图应该对齐到第一张图的坐标系，但你将ROI2的起始位置设为output.cols，直接把变换后的第二张图放在第一张图右侧的非重叠区域，自然看不到拼接效果
• 好匹配过滤逻辑不严谨：注释掉了距离下限判断，若min_dist趋近于0，会导致过滤后有效匹配点不足4个，findHomography返回空矩阵，投影变换完全不生效

修正方案 #

1. 统一特征提取和变换的输入图像，删除重复的特征提取操作
2. 调整投影变换的输出尺寸，匹配最终拼接画布的大小，避免内容裁剪
3. 修正ROI的设置逻辑，将第一张图拷贝到变换后画布的对应位置
4. 增加有效匹配点数量校验，确保findHomography能正常计算出合法的单应性矩阵
5. （可选）重叠区域增加加权融合，避免拼接处出现明显硬边

修正后的核心代码示例 #

Mat frame, frame2;
cap >> frame;
cap2 >> frame2;

// 统一使用frame和frame2做特征提取，删除重复操作
cv::Ptr<cv::Feature2D> kaze = cv::KAZE::create();
std::vector<cv::KeyPoint> kpts1, kpts2;
cv::Mat descriptors1, descriptors2;
kaze->detectAndCompute(frame, cv::noArray(), kpts1, descriptors1);
kaze->detectAndCompute(frame2, cv::noArray(), kpts2, descriptors2);

BFMatcher matcher;
std::vector<DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);

double max_dist = 0, min_dist = 100;
for (int i = 0; i < descriptors1.rows; i++) {
    double dist = matches[i].distance;
    min_dist = dist < min_dist ? dist : min_dist;
    max_dist = dist > max_dist ? dist : max_dist;
}

std::vector<DMatch> good_matches;
for (int i = 0; i < descriptors1.rows; i++) {
    // 保留合理的距离过滤条件，避免min_dist太小导致匹配质量过低
    if (matches[i].distance <= std::max(3 * min_dist, 30.0)) {
        good_matches.push_back(matches[i]);
    }
}

// 校验有效匹配点数量，不足4个无法计算单应性
if (good_matches.size() < 4) {
    std::cout << "有效匹配点不足，无法完成拼接" << std::endl;
    return;
}

std::vector<Point2f> obj, scene;
for (int i = 0; i < good_matches.size(); i++) {
    obj.push_back(kpts1[good_matches[i].queryIdx].pt);
    scene.push_back(kpts2[good_matches[i].trainIdx].pt);
}

cv::Mat H = findHomography(scene, obj, RANSAC);
// 拼接画布尺寸设置为两张图宽度之和，高度取最大值
Size canvas_size(frame.cols + frame2.cols, std::max(frame.rows, frame2.rows));
// 投影变换输出尺寸用画布大小，避免内容裁剪
Mat warpImage2;
warpPerspective(frame2, warpImage2, H, canvas_size, INTER_CUBIC);

// 把第一张图拷贝到变换后画布的对应区域
Mat final = warpImage2.clone();
Mat roi1(final, Rect(0, 0, frame.cols, frame.rows));
frame.copyTo(roi1);

imshow("Final Stitched Video_Image", final);

内容的提问来源于stack exchange，提问作者alexander