如何基于Homography去除相机视频帧Va的径向畸变且保留透视变换？

1. 核心坐标转换逻辑 #

先明确三个关键坐标空间的转换关系：

• 无畸变参考图A的像素坐标：(x_a, y_a)
• 带径向畸变的透视图像Va的像素坐标：(x_v, y_v)
• Va去畸变后的目标像素坐标：(x_v_corrected, y_v_corrected)

已知单应矩阵H实现A到Va的透视变换：[x_v, y_v, 1]^T = H * [x_a, y_a, 1]^T；逆矩阵H_inv实现Va到A的逆变换：[x_a, y_a, 1]^T = H_inv * [x_v, y_v, 1]^T

2. 去畸变流程（避免伪影版本） #

步骤1：遍历目标图像的所有像素 #

对去畸变后的Va图像中每个像素(x_v_corrected, y_v_corrected)，先通过H_inv映射到参考图A的坐标空间：

import numpy as np

# 齐次坐标转换
homog_v_corrected = np.array([x_v_corrected, y_v_corrected, 1])
homog_a = H_inv @ homog_v_corrected
x_a = homog_a[0] / homog_a[2]
y_a = homog_a[1] / homog_a[2]

步骤2：从参考图获取平滑插值的像素值 #

利用A的无畸变特性，对映射得到的(x_a, y_a)执行双线性插值（这是避免伪影的核心，比最近邻插值更平滑）：

def bilinear_interpolate(img, x, y):
    x0 = int(np.floor(x))
    x1 = x0 + 1
    y0 = int(np.floor(y))
    y1 = y0 + 1

    # 边界防越界处理
    x0 = max(0, min(x0, img.shape[1]-1))
    x1 = max(0, min(x1, img.shape[1]-1))
    y0 = max(0, min(y0, img.shape[0]-1))
    y1 = max(0, min(y1, img.shape[0]-1))

    Ia = img[y0, x0]
    Ib = img[y1, x0]
    Ic = img[y0, x1]
    Id = img[y1, x1]

    wa = (x1 - x) * (y1 - y)
    wb = (x1 - x) * (y - y0)
    wc = (x - x0) * (y1 - y)
    wd = (x - x0) * (y - y0)

    return wa*Ia + wb*Ib + wc*Ic + wd*Id

# 从参考图A中取插值后的像素值
pixel_value = bilinear_interpolate(A, x_a, y_a)

步骤3：赋值到目标图像对应位置 #

将得到的无畸变像素值直接写入Va去畸变图像的(x_v_corrected, y_v_corrected)位置。

3. 伪影规避原理 #

传统径向畸变反投影是直接对Va的畸变点反向计算无畸变位置，容易因畸变导致像素重叠/空缺产生伪影；本方法从去畸变后的目标视角出发，通过单应矩阵反向映射到无畸变参考图取像素，相当于用参考图的无畸变信息“填充”透视变换后的视角，所有目标像素都能得到平滑的插值结果，彻底避免了空缺或重叠问题。

4. OpenCV简化实现（加速版） #

不用手动实现插值，可借助OpenCV的API快速完成：

import cv2

# 加载参考图A和畸变图Va
A = cv2.imread("A.png")
Va = cv2.imread("Va_frame.png")  # 替换为实际视频帧路径
h, w = Va.shape[:2]

# 创建目标图像的网格坐标
X, Y = np.meshgrid(np.arange(w), np.arange(h))
homog_coords = np.stack([X.ravel(), Y.ravel(), np.ones_like(X.ravel())], axis=0)

# 映射到参考图A的坐标空间
homog_a_coords = H_inv @ homog_coords
x_a = homog_a_coords[0, :] / homog_a_coords[2, :]
y_a = homog_a_coords[1, :] / homog_a_coords[2, :]

# 转换为cv2.remap要求的格式
map_x = x_a.reshape(h, w).astype(np.float32)
map_y = y_a.reshape(h, w).astype(np.float32)

# 双线性插值生成最终图像
Va_corrected = cv2.remap(A, map_x, map_y, interpolation=cv2.INTER_LINEAR)

内容的提问来源于stack exchange，提问作者Milardo