Python中如何用4x4齐次变换矩阵实现图像3D变换？

图像本质是3D场景在2D平面的投影，直接用3D齐次变换后必须完成透视投影才能映射回2D图像坐标，以下是几种可行的实现方案：

方案1：手动实现3D变换+透视投影（无额外依赖） #

核心思路是将每个像素的2D坐标扩展为3D齐次坐标，应用4x4变换后做透视除法，再通过插值生成变换后的图像：

1. 用numpy.meshgrid生成所有像素的(x,y)坐标，扩展为齐次坐标(x, y, 0, 1)（默认图像在Z=0平面）
2. 通过矩阵乘法应用4x4变换
3. 执行透视除法：将变换后的坐标(X,Y,Z,W)转换为2D投影坐标(X/Z, Y/Z)（需保证Z不为0）
4. 用OpenCV的cv2.remap做双线性插值，生成最终图像

代码示例：

import numpy as np
import cv2

def apply_4x4_transform(image, transform_matrix):
    h, w = image.shape[:2]
    # 生成网格坐标
    x, y = np.meshgrid(np.arange(w), np.arange(h))
    # 扩展为3D齐次坐标
    coords = np.stack([x.flatten(), y.flatten(), np.zeros_like(x.flatten()), np.ones_like(x.flatten())], axis=0)
    # 应用4x4变换
    transformed_coords = transform_matrix @ coords
    # 透视除法
    x_proj = transformed_coords[0] / transformed_coords[2]
    y_proj = transformed_coords[1] / transformed_coords[2]
    # 转换为remap所需格式
    map_x = x_proj.reshape(h, w).astype(np.float32)
    map_y = y_proj.reshape(h, w).astype(np.float32)
    # 双线性插值生成变换图像
    warped_image = cv2.remap(image, map_x, map_y, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    return warped_image

# 示例使用
transform_mat = np.array([
    [0.866, -0.5, 0, 50],
    [0.5, 0.866, 0, 30],
    [0, 0, 1, 20],
    [0, 0, 0, 1]
])
input_image = cv2.imread("your_image.jpg")
result_image = apply_4x4_transform(input_image, transform_mat)
cv2.imwrite("warped_image.jpg", result_image)

方案2：结合OpenCV投影函数（适合带相机内参的场景） #

如果你的4x4矩阵是相机外参（由3D旋转+平移得到），可结合相机内参生成投影矩阵，用cv2.projectPoints计算变换后的像素坐标：

1. 拆分4x4矩阵为旋转矩阵R（前3x3）和平移向量t（前3行第4列）
2. 生成图像网格对应的3D点（Z=0）
3. 用cv2.projectPoints计算投影后的2D坐标
4. 同样用cv2.remap完成插值映射

代码示例：

import numpy as np
import cv2

def apply_extrinsic_transform(image, extrinsic_mat, camera_mat=None):
    h, w = image.shape[:2]
    # 默认简单相机内参（焦距等于图像宽度，光心在中心）
    if camera_mat is None:
        fx = fy = w
        cx, cy = w/2, h/2
        camera_mat = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)
    
    # 拆分外参
    R = extrinsic_mat[:3, :3]
    t = extrinsic_mat[:3, 3].reshape(-1, 1)
    # 生成3D点集
    x, y = np.meshgrid(np.arange(w), np.arange(h))
    points_3d = np.stack([x.flatten(), y.flatten(), np.zeros_like(x.flatten())], axis=1).astype(np.float32)
    # 投影到2D坐标
    points_2d, _ = cv2.projectPoints(points_3d, R, t, camera_mat, distCoeffs=None)
    # 转换为remap格式
    map_x = points_2d[:, 0, 0].reshape(h, w).astype(np.float32)
    map_y = points_2d[:, 0, 1].reshape(h, w).astype(np.float32)
    # 插值生成图像
    warped_image = cv2.remap(image, map_x, map_y, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    return warped_image

# 示例使用
extrinsic_mat = np.array([
    [0.866, -0.5, 0, 50],
    [0.5, 0.866, 0, 30],
    [0, 0, 1, 20],
    [0, 0, 0, 1]
])
input_image = cv2.imread("your_image.jpg")
result_image = apply_extrinsic_transform(input_image, extrinsic_mat)

方案3：用3D视觉库简化操作（适合批量/复杂场景） #

如果需要处理大量图像或更复杂的3D变换，可使用PyTorch3D这类库，它内置了图像的3D变换函数，无需手动处理投影细节：

from pytorch3d.transforms import Transform3d
from pytorch3d.renderer import PerspectiveCameras
import torch

# 图像转为PyTorch张量
image_tensor = torch.from_numpy(input_image).permute(2,0,1).unsqueeze(0).float() / 255.0
h, w = image_tensor.shape[2:]

# 创建3D变换
transform = Transform3d(matrix=torch.from_numpy(transform_mat).float())
# 创建相机（可根据实际调整参数）
cameras = PerspectiveCameras(focal_length=w, principal_point=((w/2, h/2),), device=image_tensor.device)
# 应用变换并投影
warped_tensor = cameras.transform_points_screen(transform.transform_points(cameras.unproject_points(image_tensor)))
# 转换回numpy图像
result_image = (warped_tensor.squeeze(0).permute(1,2,0).numpy() * 255).astype(np.uint8)

注意事项 #

• 透视除法时需确保Z值不为0，可通过添加微小偏移或调整变换矩阵避免报错
• 变换后的坐标可能超出原图像范围，可通过borderMode设置边界填充方式（如黑色、复制边缘等）
• 上述方案都会保留Z轴变换/旋转的投影效果，不会像2D仿射那样丢失Z轴信息

内容的提问来源于stack exchange，提问作者elexivv