Python OpenCV实现3D空间2D图像旋转平移及相机视图生成

核心思路：2D平面物体在针孔相机下的成像过程等价于平面单应性变换，不需要全3D渲染管线，直接通过位姿参数计算模板图到成像视图的透视变换矩阵，调用OpenCV的透视变换接口即可快速生成模拟视图，完全满足位姿搜索阶段的批量匹配效率要求。

参数约定 #

实现前统一坐标系规则，避免参数歧义：

• 相机采用针孔模型，光心位于坐标系原点，光轴沿Z轴正方向，像平面X轴向右、Y轴向下，和OpenCV默认坐标系对齐
• 模板图初始位姿：平放在Z=0平面，几何中心对齐坐标原点，物理尺寸由传入的实际物体宽高决定
• 位置参数为长度3的数组/元组(tx, ty, tz)，代表物体中心在3D空间的坐标，单位和传入的物体实际尺寸单位一致
• 旋转参数采用OpenCV原生支持的罗德里格斯旋转向量（长度3，元素为弧度），如果习惯用欧拉角/旋转矩阵，可提前自行转换为旋转向量格式
• 支持传入标定得到的相机内参、畸变系数，模拟真实镜头成像效果；未传入时使用近似内参，焦距等于输出图像宽度，光心位于输出图像中心

实现代码 #

import cv2
import numpy as np

def render_plane_view(
    template_img: np.ndarray,
    obj_real_size: tuple[float, float],
    t_vec: np.ndarray | tuple[float, float, float],
    r_vec: np.ndarray | tuple[float, float, float],
    camera_matrix: np.ndarray | None = None,
    dist_coeffs: np.ndarray | None = None,
    output_size: tuple[int, int] | None = None,
    fill_value: int = 0
) -> np.ndarray:
    """
    生成指定3D位姿下平面2D物体的相机模拟观测视图
    Args:
        template_img: 输入2D灰度模板图，格式为uint8、尺寸H×W，符合OpenCV灰度图规范
        obj_real_size: 物体实际物理尺寸 (width, height)，单位自定义，与平移向量单位保持一致即可
        t_vec: 物体平移向量 (tx, ty, tz)，代表物体中心在3D空间的坐标
        r_vec: 物体旋转向量（罗德里格斯格式，弧度）
        camera_matrix: 3×3相机内参矩阵，传入None则使用默认近似内参
        dist_coeffs: 镜头畸变系数，传入None则视为无畸变
        output_size: 输出图像尺寸 (height, width)，传入None则尺寸与模板图一致
        fill_value: 物体投影外区域的填充灰度值，默认0（黑色）
    Returns:
        对应位姿下的观测灰度图，格式为uint8、尺寸与output_size一致
    """
    # 基础参数校验
    assert template_img.ndim == 2 and template_img.dtype == np.uint8, "输入模板必须是单通道uint8灰度图"
    h_template, w_template = template_img.shape[:2]
    obj_w, obj_h = obj_real_size
    t_vec = np.asarray(t_vec, dtype=np.float64).reshape(3, 1)
    r_vec = np.asarray(r_vec, dtype=np.float64).reshape(3, 1)

    # 处理输出尺寸
    if output_size is None:
        out_h, out_w = h_template, w_template
    else:
        out_h, out_w = output_size
    
    # 处理默认相机内参
    if camera_matrix is None:
        fx = fy = out_w
        cx = out_w / 2
        cy = out_h / 2
        camera_matrix = np.array([
            [fx, 0, cx],
            [0, fy, cy],
            [0, 0, 1]
        ], dtype=np.float64)
    
    # 生成模板四个角点的3D坐标（初始位姿下，Z=0平面，中心在原点）
    corners_3d = np.array([
        [-obj_w/2, -obj_h/2, 0],
        [obj_w/2, -obj_h/2, 0],
        [obj_w/2, obj_h/2, 0],
        [-obj_w/2, obj_h/2, 0]
    ], dtype=np.float64)

    # 旋转向量转旋转矩阵，判断物体是否全部在相机后方
    R, _ = cv2.Rodrigues(r_vec)
    corners_cam = (R @ corners_3d.T).T + t_vec.T
    if np.all(corners_cam[:, 2] <= 0):
        return np.full((out_h, out_w), fill_value, dtype=np.uint8)
    
    # 投影到像平面，支持畸变参数
    if dist_coeffs is None:
        dist_coeffs = np.zeros((5,), dtype=np.float64)
    corners_2d, _ = cv2.projectPoints(corners_3d, r_vec, t_vec, camera_matrix, dist_coeffs)
    corners_2d = corners_2d.reshape(-1, 2).astype(np.float32)

    # 模板图对应的四个角点像素坐标
    template_corners = np.array([
        [0, 0],
        [w_template, 0],
        [w_template, h_template],
        [0, h_template]
    ], dtype=np.float32)

    # 计算单应矩阵并做透视变换
    H = cv2.getPerspectiveTransform(template_corners, corners_2d)
    output_img = cv2.warpPerspective(
        template_img,
        H,
        (out_w, out_h),
        borderValue=fill_value,
        flags=cv2.INTER_LINEAR
    )

    return output_img

使用提示 #

• 若物体部分角点位于相机后方（Z<=0），投影结果会出现明显拉伸，属于正常透视效果，匹配时可通过投影面积阈值过滤这类无效位姿
• 位姿搜索阶段追求速度可将插值方式改为cv2.INTER_NEAREST，精度优先则用cv2.INTER_CUBIC
• 计算匹配得分时建议优先选归一化互相关(NCC)或梯度方向匹配，对光照变化的鲁棒性远高于直接像素差计算
• 若需要使用欧拉角表示旋转，可先按自己约定的旋转顺序将欧拉角转为旋转矩阵，再通过cv2.Rodrigues转为旋转向量传入函数即可

内容的提问来源于stack exchange，提问作者Tobs40