基于畸变从图像平面计算相机向量的技术问询

OpenCV确实没有直接提供projectPoints()的逆函数，但可以通过手动组合现有函数实现需求：从图像像素坐标反推相机坐标系下z=1平面的落点（即射线方向向量），包含畸变逆过程的完整步骤如下：

核心实现步骤 #

1. 对像素坐标去畸变 #

使用cv2.undistortPoints()完成畸变校正，将带畸变的像素坐标转换为归一化图像坐标（去除畸变后的坐标，还未经过内参逆变换）。

import cv2
import numpy as np

# 假设已获取相机内参K和畸变系数dist
K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)
dist = np.array([k1, k2, p1, p2, k3], dtype=np.float32)  # 按实际相机畸变参数调整

# 构造单个像素坐标（需转为Nx1x2格式）
pixel_point = np.array([[[x, y]]], dtype=np.float32)
# 去畸变得到归一化图像坐标
undistorted_point = cv2.undistortPoints(pixel_point, K, dist)

2. 转换为相机坐标系z=1平面的点 #

通过内参矩阵的逆变换，将去畸变后的归一化坐标转换为相机坐标系下z=1的点：

# 计算内参矩阵的逆
K_inv = np.linalg.inv(K)
# 将归一化坐标转为齐次形式（添加z=1）
undistorted_hom = np.concatenate([undistorted_point.squeeze(), np.ones((1,1))], axis=1)
# 逆变换得到相机坐标系下的点（x,y,1），即目标方向向量
camera_point = (K_inv @ undistorted_hom.T).T

批量处理全图像像素的优化方案 #

如果需要处理整个图像网格的所有像素，可通过批量操作提升效率：

height, width = img.shape[:2]
# 生成全图像素坐标网格
x_grid, y_grid = np.meshgrid(np.arange(width), np.arange(height))
# 转换为OpenCV要求的Nx1x2格式
pixel_grid = np.stack([x_grid, y_grid], axis=-1).reshape(-1,1,2).astype(np.float32)
# 批量去畸变
undistorted_grid = cv2.undistortPoints(pixel_grid, K, dist)
# 批量转换为相机坐标系z=1平面的点
undistorted_hom_grid = np.concatenate([undistorted_grid.squeeze(), np.ones((height*width,1))], axis=1)
camera_points_grid = (K_inv @ undistorted_hom_grid.T).T
# 重塑回图像网格形状（height, width, 3）
camera_points_grid = camera_points_grid.reshape(height, width, 3)

关键注意事项 #

• 确保内参K和畸变系数dist的数据类型为np.float32，符合OpenCV函数要求。
• 若使用鱼眼镜头模型，需替换为cv2.fisheye.undistortPoints()，且畸变系数格式需匹配鱼眼模型规范。
• 最终得到的camera_points_grid中，每个(x,y,1)向量即为对应像素的射线方向，无需额外单位化（z分量已固定为1）。

内容的提问来源于stack exchange，提问作者BananaJoe