图像俯视视角透视数据增强 自定义3D转2D投影代码异常求解

你手写3D透视投影的代码输出不符合预期，核心是3个基础逻辑错误，同时实现路线绕远了：

• 坐标系配置错误：你用的是OpenGL风格投影矩阵，默认相机朝向-Z轴方向，但你的平移向量设置为T = [0,0,10]，相当于把所有点平移到Z轴正方向，全部跑到相机身后，投影结果必然异常。
• 旋转顺序错误：模拟监控摄像头的姿态调整，正确的旋转顺序应为滚转（Z轴）→俯仰（X轴）→偏航（Y轴），你当前的Ry→Rz→Rx顺序会导致角度偏移完全失控，根本生成不了稳定的俯视效果。
• 缺少坐标空间映射：你计算得到的是[-1,1]范围的归一化设备坐标（NDC），没有映射回原图的像素坐标区间，输出的点自然对应不到图像位置。

另外你选的3D投影实现路线没必要，要实现带约束的俯视透视增强，直接用2D单应性变换更简单稳定，完全不需要自己搭3D渲染管线。

你要的「固定保持安防监控俯视效果、控制点规则自定义」的需求，不需要依赖albumentations的随机Perspective接口，直接基于OpenCV的透视变换接口封装即可，控制点生成规则完全自主可控：

import cv2
import numpy as np
import math

def generate_perspective_point_pairs(img_shape, pitch_range=(15, 35), horizontal_offset_range=(-0.05, 0.05)):
    """
    生成符合安防监控俯视特征的透视变换对应点对
    参数说明：
        img_shape: 输入图像的(高度, 宽度)
        pitch_range: 摄像头俯仰角范围，单位度；数值越大俯视程度越高，0为平视，90为垂直向下俯视
        horizontal_offset_range: 摄像头光轴水平偏移比例范围，模拟监控未完全正对场景的真实情况
    返回：
        src_pts: 原图4个角点（左上、右上、右下、左下顺序）
        dst_pts: 变换后对应的目标4个角点
    """
    h, w = img_shape[:2]
    src_pts = np.float32([[0, 0], [w, 0], [w, h], [0, h]])

    # 随机采样当前增强轮次的姿态参数
    pitch = np.random.uniform(*pitch_range)
    x_offset = np.random.uniform(*horizontal_offset_range) * w

    # 根据俯仰角计算透视收缩比例：俯仰角越小（越接近平视），画面远端收缩越明显
    shrink_factor = math.tan(np.radians(pitch)) / 3
    top_edge_width = w * shrink_factor
    top_edge_y = h * (1 - shrink_factor)
    top_left_x = w/2 - top_edge_width/2 + x_offset
    top_right_x = w/2 + top_edge_width/2 + x_offset

    dst_pts = np.float32([
        [top_left_x, top_edge_y],
        [top_right_x, top_edge_y],
        [w, h],
        [0, h]
    ])
    return src_pts, dst_pts

def monitor_style_perspective_aug(img, pitch_range=(15,35), horizontal_offset_range=(-0.05,0.05)):
    h, w = img.shape[:2]
    src_pts, dst_pts = generate_perspective_point_pairs((h,w), pitch_range, horizontal_offset_range)
    # 计算透视变换单应性矩阵
    transform_matrix = cv2.getPerspectiveTransform(src_pts, dst_pts)
    # 执行变换，边界用最近邻像素填充避免黑边
    aug_img = cv2.warpPerspective(
        img, 
        transform_matrix, 
        (w, h), 
        borderMode=cv2.BORDER_REPLICATE
    )
    return aug_img, transform_matrix

这个实现的优势：

• 透视效果严格符合安防监控特征：画面底部两个角点固定，模拟近端场景离摄像头近、无透视收缩的效果；画面顶部边缘向内收缩，模拟远端场景的透视汇聚，不会出现仰视、过度倾斜的不符合要求的结果。
• 参数完全可控：你可以根据自己的数据集场景调整俯仰角、偏移量的范围，所有增强结果都在你设定的约束内，不会出现albumentations随机生成异常透视的问题。
• 稳定性远高于手写3D投影：直接在2D图像空间计算变换，没有坐标系、旋转顺序、坐标映射的各类坑，推理速度也更快。

如果你一定要坚持用3D投影的方案实现，需要对你原来的代码做三处修正：

1. 调整坐标系配置，保证所有待投影的点都在相机朝向的正前方（对应你用的投影矩阵，点的Z坐标需为负值），平移向量要把相机位置抬升到Y轴高空，而不是沿Z轴平移
2. 把旋转顺序调整为Rz→Rx→Ry，匹配摄像头姿态变换的常规顺序
3. 投影得到的NDC坐标需要做像素空间映射：pixel_x = (ndc_x + 1) * 0.5 * w、pixel_y = (1 - ndc_y) * 0.5 * h，才能得到对应图像上的像素坐标。

内容的提问来源于stack exchange，提问作者Userulli