已知3个视角参数及对应图像点，如何求解目标点三维空间坐标？

嘿，这个问题算是计算机视觉里多视角三维重建的基础场景了，咱们一步步拆解来解决，保证讲得明明白白：

先明确已知条件（避免误解） #

首先把你手里的信息捋清楚，方便后续推导：

• 三个相机的空间位置：每个视角的原点（光心）坐标$C_i=(x_i,y_i,z_i)$（i=1,2,3，对应三个视角）
• 三个相机的姿态方向：每个视角的主光轴方向向量$v_i=(a_i,b_i,c_i)$（用来确定相机的朝向）
• 每个图像上的标记点坐标：三个视角分别拍到的红、蓝、绿点的图像像素坐标$(u_{ij},v_{ij})$（i是相机序号，j是标记点序号）
• 相机分辨率相同，但没有其他内参（比如焦距、主点位置这些）

核心思路：射线相交法 #

每个标记点的三维坐标$P=(X,Y,Z)$，对应每个相机视角来说，都是从相机光心出发、指向该点的一条射线上的点。我们的目标就是找到同时落在三条射线上的点（或者因为噪声，找最接近三条射线的最优解）。

步骤1：把图像点转换为世界坐标系下的射线方向 #

首先得把图像里的像素坐标，转换成相机朝向的世界坐标系中的射线方向：

1. 图像坐标归一化：因为不知道主点位置，我们默认图像中心就是主点。假设相机分辨率是$W \times H$，把每个图像点$(u,v)$转换成相对于中心的偏移：$(u - W/2, v - H/2)$。
2. 构造相机局部坐标系：
   • 把主光轴方向向量$v_i$单位化，作为局部坐标系的Z轴$z_i = v_i / ||v_i||$
   • 找一个和$z_i$不共线的向量（比如世界坐标系的X轴），叉乘$z_i$得到Y轴方向，再单位化
   • 用Y轴叉乘Z轴得到X轴，这样就得到了相机的旋转矩阵$R_i$（三个正交单位轴组成）
3. 转换为世界坐标系方向：把归一化后的图像偏移$(nx, ny)$，加上Z轴方向的固定值1（这个值会被后续的射线参数吸收，不用纠结），得到局部坐标系下的方向向量$(nx, ny, 1)$，再通过旋转矩阵$R_i$转换为世界坐标系下的方向向量$d_{ij}$，最后单位化（方向向量只需要比例正确就行）。

步骤2：联立射线方程求解三维点 #

对于标记点j，三条射线可以表示为：
$$P = C_1 + t_1 \cdot d_{1j}$$
$$P = C_2 + t_2 \cdot d_{2j}$$
$$P = C_3 + t_3 \cdot d_{2j}$$
这里$t_1,t_2,t_3$是大于0的参数，代表从相机光心到点P的距离比例。

接下来把这些等式联立，转换成线性方程组用最小二乘求解：

1. 取前两个等式，得到$C_1 - C_2 = t_2 d_{2j} - t_1 d_{1j}$，这是一个三维向量方程，对应三个标量方程
2. 再取第一和第三个等式，得到$C_1 - C_3 = t_3 d_{3j} - t_1 d_{1j}$，又是三个标量方程
3. 把这些方程组合成一个超定方程组（6个方程，3个未知量$t_1,t_2,t_3$），用最小二乘法求解最优的t值
4. 代入三个射线方程得到三个候选P点，取平均值作为最终的三维坐标（或者直接用最小二乘的结果计算）

步骤3：代码实现思路（伪代码） #

import numpy as np

def calculate_3d_point(camera_centers, camera_rotations, image_points, image_size):
    # camera_centers: 3个相机光心，形状(3,3)
    # camera_rotations: 3个相机旋转矩阵，形状(3,3,3)
    # image_points: 3个视角的标记点像素坐标，形状(3,2)
    # image_size: 图像分辨率(W, H)
    
    W, H = image_size
    # 转换为图像中心偏移坐标
    normalized_points = []
    for u, v in image_points:
        nx = u - W / 2
        ny = v - H / 2
        normalized_points.append(np.array([nx, ny, 1.0]))  # 局部坐标系方向
    
    # 转换为世界坐标系下的单位方向向量
    ray_dirs = []
    for rot, norm_pt in zip(camera_rotations, normalized_points):
        world_dir = rot @ norm_pt
        world_dir = world_dir / np.linalg.norm(world_dir)
        ray_dirs.append(world_dir)
    
    # 构造最小二乘方程组
    A = []
    b = []
    # 相机1和相机2的约束
    A.append(ray_dirs[0])
    A.append(-ray_dirs[1])
    b.append(camera_centers[1] - camera_centers[0])
    # 相机1和相机3的约束
    A.append(ray_dirs[0])
    A.append(-ray_dirs[2])
    b.append(camera_centers[2] - camera_centers[0])
    # 相机2和相机3的约束
    A.append(ray_dirs[1])
    A.append(-ray_dirs[2])
    b.append(camera_centers[2] - camera_centers[1])
    
    A = np.array(A).reshape(6, 3)
    b = np.array(b).flatten()
    
    # 求解最小二乘
    t_vals, _, _, _ = np.linalg.lstsq(A, b, rcond=None)
    
    # 计算三个候选点并取平均
    p1 = camera_centers[0] + t_vals[0] * ray_dirs[0]
    p2 = camera_centers[1] + t_vals[1] * ray_dirs[1]
    p3 = camera_centers[2] + t_vals[2] * ray_dirs[2]
    final_point = (p1 + p2 + p3) / 3
    
    return final_point

关键注意事项 #

• 外参精度很重要：如果相机的光心位置或者朝向向量有误差，求解出来的三维点会偏差很大，所以要确保这些参数的准确性。
• 噪声处理：实际图像中的像素点肯定有噪声，所以必须用最小二乘而不是强行找精确交点，这样结果更鲁棒。
• 内参的隐含假设：因为没有内参信息，我们默认图像中心是主点，焦距被吸收到射线参数里了，这在相机分辨率一致、没有畸变的情况下是合理的近似。

内容的提问来源于stack exchange，提问作者DuckQueen