仅用Scipy优化变换矩阵实现图像对齐：变换矩阵未更新问题

核心问题分析 #

你的代码存在四个关键错误，导致变换矩阵无法更新：

• 正/逆变换矩阵混淆：scipy.ndimage.affine_transform要求传入逆变换矩阵（将输出图像坐标映射回输入图像），但你传入的是正变换矩阵，导致变换方向完全错误，优化器无法获取有效梯度。
• 无效参数优化：仿射变换最后一行固定为[0,0,1]，优化这三个参数无意义，它们的梯度始终为0，干扰优化器收敛。
• 全局变量误用：成本函数中使用全局变量source_img而非传入的参数，导致优化参数无法影响变换结果，梯度计算失效。
• 冗余参数传递：minimize的args中传入了未使用的matrix，属于无效传递。

修正步骤与完整代码 #

import numpy as np
import scipy.ndimage
from scipy.optimize import minimize

def similarity_metric(image1, image2):
    # 计算两张图像的均方误差
    return np.mean((image1 - image2) ** 2)

def transform_image(image, affine_params):
    # 从6个参数构造3x3正变换矩阵
    matrix = np.array([
        [affine_params[0], affine_params[1], affine_params[2]],
        [affine_params[3], affine_params[4], affine_params[5]],
        [0, 0, 1]
    ])
    # scipy需要逆变换矩阵来完成坐标映射
    inv_matrix = np.linalg.inv(matrix)
    # 保持输出图像尺寸与输入一致，避免边界失真
    return scipy.ndimage.affine_transform(
        image, inv_matrix, output_shape=image.shape, mode='constant', cval=0
    )

def cost_function(params, image1, image2):
    # 使用传入的源图像而非全局变量
    warped_image = transform_image(image1, params)
    return similarity_metric(warped_image, image2)

# 假设source_img和target_img已加载为灰度numpy数组
# 初始化参数：对应[a,b,tx; c,d,ty]，初始为单位变换
initial_guess = np.array([1.0, 0.0, 0.0, 0.0, 1.0, 0.0])

# 设置合理参数边界（根据图像尺寸调整）
bounds = [
    (-2, 2), (-1, 1), (-50, 50),  # a（缩放/旋转）、b（剪切/旋转）、tx（平移）
    (-1, 1), (-2, 2), (-50, 50)   # c（剪切/旋转）、d（缩放/旋转）、ty（平移）
]

# 执行优化
result = minimize(
    cost_function,
    initial_guess,
    args=(source_img, target_img),
    method='L-BFGS-B',
    bounds=bounds,
    options={'maxiter': 1000, 'disp': True}  # 开启disp查看优化过程
)

# 构造最终变换矩阵
TM = np.array([
    [result.x[0], result.x[1], result.x[2]],
    [result.x[3], result.x[4], result.x[5]],
    [0, 0, 1]
])
print("优化后的变换矩阵：")
print(TM)

# 生成对齐图像
aligned_image = transform_image(source_img, result.x)

额外说明 #

1. 逆变换逻辑：scipy的仿射变换是从输出坐标反查输入坐标，因此必须传入正变换矩阵的逆矩阵，才能实现预期的图像变换。
2. 参数调整：边界范围需根据图像实际尺寸调整（比如图像为500x500时，平移边界可设为[-100,100]）。
3. 优化器选项：disp=True可查看优化迭代过程，方便排查收敛问题；也可尝试Nelder-Mead无梯度优化方法对比效果。

内容的提问来源于stack exchange，提问作者Ashfiqur Rahman