基于OpenCV的仿射图像拼接分步实现故障排查请求

问题1：BundleAdjusterAffinePartial执行失败返回false #

根因分析 #

• 仿射变换约束远严于单应性，若匹配点对数量不足（少于6个）、分布过于集中，或存在大量错误匹配（outlier），会导致优化过程无法收敛，直接返回失败。
• 初始仿射变换矩阵偏差过大，比如局部匹配得到的初始矩阵与真实变换差异显著，优化器无法找到有效解空间。
• BundleAdjuster参数配置错误：未指定合适的置信度阈值、权重设置不合理，或未正确传入图像尺寸等必要输入信息。

修复方案 #

• 先做匹配点outlier过滤：用cv::RANSAC或cv::LMEDS算法筛选初始匹配点对，保留足够数量（6个以上）且分布均匀的内点（inlier）。
• 验证初始仿射矩阵正确性：手动选取几组匹配点，用cv::getAffineTransform计算基准矩阵，对比现有初始矩阵的偏差，确保初始值在合理范围内。
• 调整BundleAdjuster参数：
  • 明确设置优化类型为仿射部分调整，将setConfThresh设置为0.99等合理置信度；
  • 确认已正确传入所有图像的尺寸信息；
  • 调高优化迭代次数，比如setMaxIterations(1000)，给优化过程足够收敛时间。

问题2：注释BundleAdjuster后warped图像全黑 #

根因分析 #

• 仿射变换矩阵范围错误：变换后的像素坐标全部超出目标画布尺寸，导致无有效像素落在画布内。
• 目标画布尺寸计算错误：未正确统计所有图像变换后的最小包围矩形，画布尺寸过小或原点偏移设置错误。
• warpAffine参数错误：误用cv::WARP_INVERSE_MAP标志、边界填充方式设为cv::BORDER_CONSTANT且填充值为0、输出图像dtype与源图像不匹配导致像素值异常。

修复方案 #

• 验证仿射矩阵有效性：选取源图像的四个角点，手动计算变换后的坐标，确认其是否在预期的画布范围内，若坐标为负或远超画布尺寸，需回到匹配环节重新计算初始矩阵。
• 正确计算目标画布尺寸：
  1. 对每张图像的四个角点应用仿射变换，得到变换后的坐标集合；
  2. 找出所有坐标的最小/最大x、y值；
  3. 画布宽设为max_x - min_x，高设为max_y - min_y，同时设置偏移量(-min_x, -min_y)，确保所有变换后像素都能落在画布内。
• 修正warpAffine参数：
  • 移除cv::WARP_INVERSE_MAP标志（仿射拼接通常使用正向变换）；
  • 暂时将边界填充方式改为cv::BORDER_REPLICATE，避免边界外像素被填充为0；
  • 确保输出图像的dtype与源图像一致（如均为CV_8UC3），避免类型不匹配导致像素值清零。

内容的提问来源于stack exchange，提问作者Tommy