手部图像配准：ICP返回空矩阵的原因及替代技术咨询

问题背景 #

我于2023年3月14日更新了完整问题

我正在尝试将两幅手部图像进行配准，目标是将其中一幅图像对齐到参考图像。我希望使用ICP算法完成该任务，但目前所有ICP矩阵都返回为空。

图像预处理步骤为：首先生成掩码将手部与背景分离，随后使用边界框技术尽可能对齐图像，并将其尺寸调整为参考手的尺寸。

预处理后得到以下两幅图像：

使用我的ICP代码时，矩阵返回为空（ICP代码见下文）。我最终期望两个轮廓尽可能贴合为同一条手部轮廓线。

我还尝试使用ORB检测算法进行图像匹配，但匹配的点完全错误。

具体问题 #

1. 为何我的ICP返回空矩阵？（使用填充手部图像而非轮廓时也返回空矩阵）
2. 除ICP和ORB外，我还可以使用哪些技术？

我的ICP代码 #

import cv2
import numpy as np
from scipy.spatial import cKDTree

def icp(left_hand, right_hand, num_iterations=20, threshold=0.001):

# Detect keypoints and descriptors
sift = cv2.SIFT_create()
kp1, desc1 = sift.detectAndCompute(left_hand, None)
kp2, desc2 = sift.detectAndCompute(right_hand, None)

# Match keypoints using brute force matching
#bf = cv2.BFMatcher()
#matches = bf.match(desc1, desc2)

#Match keypoints using FLANN matching
flann = cv2.FlannBasedMatcher()
matches = flann.match(desc1, desc2)

# Get corresponding points
left_pts = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)
right_pts = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)

# Initialize transformation matrix
M = np.identity(3)

# Iterative Closest Point algorithm
for i in range(num_iterations):
    # Find closest points using KDTree
    tree = cKDTree(right_pts.reshape(-1, 2))
    dist, indices = tree.query(left_pts.reshape(-1, 2))

    # Compute transformation matrix using Singular Value Decomposition (SVD)
    A = np.zeros((left_pts.shape[0], 6))
    b = np.zeros((left_pts.shape[0], 1))
    for j in range(left_pts.shape[0]-1):
        x, y = right_pts[indices[j]][0]
        A[j] = np.array([left_pts[j][0][0], left_pts[j][0][1], 0, 0, 1, 0])
        A[j+1] = np.array([0, 0, left_pts[j][0][0], left_pts[j][0][1], 0, 1])
        b[j] = x - left_pts[j][0][0]
        b[j+1] = y - left_pts[j][0][1]

    x, residuals, rank, s = np.linalg.lstsq(A, b, rcond=None)
    delta_M = np.vstack((x.reshape(2, 3), np.array([0, 0, 1])))
    
    #Check if the algorithm has converged
    if np.linalg.norm(delta_M - np.identity(3)) < threshold:
        break

    # Update transformation matrix
    M = delta_M.dot(M)
    
    # Transform left points using updated transformation matrix
    left_pts = cv2.transform(left_pts, M)

# Warp left hand image to align with right hand image
aligned = cv2.warpPerspective(left_hand, M, (right_hand.shape[1], right_hand.shape[0]))

return aligned

# Warp left hand image to align with right hand image
aligned = cv2.warpPerspective(left_hand, M, (right_hand.shape[1], right_hand.shape[0]))

return aligned

1. ICP返回空矩阵的原因 #

你的代码存在几个核心问题：

• 匹配点质量过低：SIFT+FLANN得到的匹配未做过滤，包含大量错误对应，直接干扰后续ICP迭代的变换计算，导致矩阵求解异常。
• 变换矩阵计算逻辑错误：手动构建最小二乘矩阵的方式不符合仿射变换的正确求解逻辑，应该先计算点集质心、去质心后通过SVD求解旋转和平移分量，当前方式会导致方程维度不匹配，出现无解或错误解。
• 代码冗余错误：函数末尾重复写入配准和返回代码，会导致变量作用域异常或提前返回，引发矩阵未正确生成的问题。
• ICP输入不规范：标准ICP需要用均匀分布的点云（如手部轮廓密集采样点）作为输入，你用的SIFT关键点分布不均且错误匹配多，导致算法无法收敛。

2. 可选的配准技术 #

针对手部图像配准，还可以尝试这些方案：

• 轮廓配准类：提取手部轮廓后用Procrustes分析计算最优刚体变换；或用主动形状模型(ASM) 拟合轮廓实现对齐。
• 特征改进类：用SIFT+RANSAC过滤错误匹配后计算单应/仿射矩阵；或用DAISY描述子替代SIFT，适配手部纹理较少的场景。
• 灰度配准类：基于互信息(MI) 的灰度优化配准，无需提取特征，直接利用图像灰度信息完成对齐。
• 深度学习类：用MediaPipe Hands等预训练模型检测手部21个关键点，通过关键点对应关系直接计算变换矩阵，鲁棒性和精度都很高。

内容的提问来源于stack exchange，提问作者Lieke