如何在图像/ndarray上应用scipy.interpolate.RBFInterpolator实现非仿射变换？

核心思路 #

非仿射变换的本质是通过一组源-目标控制点对，让图像每个像素坐标通过径向基函数（RBF）映射到新位置。全程用NumPy向量运算替代逐像素循环，能大幅提升处理效率。

步骤实现 #

1. 导入依赖库

import numpy as np
import cv2
from scipy.interpolate import RBFInterpolator

2. 定义源控制点与目标控制点

非仿射变换需要至少4组不共线的点对（数量越多，变形精度越高），示例如下：

# 源点格式：(y, x)，对应图像的行、列坐标
src_points = np.array([
    [50, 50],   # 左上角
    [50, 250],  # 右上角
    [250, 50],  # 左下角
    [250, 250], # 右下角
    [150, 150]  # 中心点
], dtype=np.float64)

# 目标点：自定义的非仿射变形位置
dst_points = np.array([
    [30, 60],
    [60, 260],
    [260, 40],
    [230, 230],
    [120, 180]
], dtype=np.float64)

3. 生成图像像素网格坐标

用NumPy的meshgrid一次性生成所有像素的坐标，全程向量运算：

# 加载图像（OpenCV默认BGR格式）
img = cv2.imread("test_image.jpg")
h, w = img.shape[:2]

# 生成所有像素的(y, x)坐标网格
y_coords, x_coords = np.meshgrid(np.arange(h), np.arange(w), indexing='ij')
# 转换为(n_pixels, 2)的数组，适配RBFInterpolator的输入格式
all_pixels = np.stack([y_coords.ravel(), x_coords.ravel()], axis=1)

4. 初始化RBF插值器

可根据需求选择核函数（如multiquadric/linear/gaussian），示例用multiquadric适配非线性变形：

# RBFInterpolator输入：源点作为输入位置，目标点作为输出映射值
rbf_interp = RBFInterpolator(src_points, dst_points, kernel="multiquadric", smoothing=0.1)

5. 批量映射所有像素坐标

直接传入整个像素坐标数组，向量运算自动处理所有点：

# 得到所有像素对应的目标坐标，形状为(n_pixels, 2)
mapped_coords = rbf_interp(all_pixels)
# 拆分回y和x的网格格式，适配后续采样
mapped_y = mapped_coords[:, 0].reshape(h, w)
mapped_x = mapped_coords[:, 1].reshape(h, w)

6. 采样得到变换后的图像

用OpenCV的remap函数完成高效采样，注意坐标格式转换：

# cv2.remap要求映射坐标为(x, y)顺序，且为float32类型
warped_img = cv2.remap(
    img,
    mapped_x.astype(np.float32),
    mapped_y.astype(np.float32),
    interpolation=cv2.INTER_LINEAR,
    borderMode=cv2.BORDER_REPLICATE  # 边界填充避免黑边
)

7. 可视化结果

cv2.imshow("Original Image", img)
cv2.imshow("Warped Image", warped_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

关键优化与注意事项 #

• 效率保障：全程用meshgrid和ravel处理坐标，避免逐像素循环，比传统循环快数十倍
• 坐标顺序：OpenCV图像坐标是(y, x)对应行、列，但cv2.remap需要传入(x, y)顺序的映射，注意转换
• 核函数选择：multiquadric适合强非线性变形，linear适合类仿射轻量变形，gaussian可通过平滑参数控制柔度
• 平滑参数：smoothing值越大，变形越平滑；值越小，越贴合控制点，但可能出现过度拟合
• 控制点数量：控制点越多变形越精准，但计算量会增加，需根据需求平衡

内容的提问来源于stack exchange，提问作者Kemsikov