基于2D图像点求解透视场景中平面的旋转与位置参数方法咨询

前置校验 #

首先确认你已准备好两组严格对应的坐标点，这是求解准确的核心前提：

• 初始3D平面的4个角点世界坐标，所有点z值为0（你初始状态下平面在z=0基准面，例如补全你未写完的4个点为(0,0,0)、(0,100,0)、(140,100,0)、(140,0,0)即可）
• 2D参考图中沙发平面4个角点的像素坐标，点的排列顺序必须和3D坐标点顺序完全一致
• three.js透视相机的内参（视场角fov、宽高比、近/远裁剪面）要和生成渲染图的参数完全统一

步骤1：调用OpenCV solvePnP求解外参 #

之前求解结果不准大概率是未使用平面场景适配的求解方法，或相机内参构造错误，参考以下代码实现：

import cv2
import numpy as np

# 1. 构造相机内参矩阵，和three.js相机参数严格对齐
# width、height为three.js渲染画布的宽高像素值，fov为three.js相机的垂直视场角
focal_length = width / (2 * np.tan(fov * np.pi / 360))
cx = width / 2
cy = height / 2
camera_matrix = np.array([
    [focal_length, 0, cx],
    [0, focal_length, cy],
    [0, 0, 1]
], dtype=np.float32)
# 假设无镜头畸变，畸变系数设为0
dist_coeffs = np.zeros((4, 1), dtype=np.float32)

# 2. 填入对应坐标点
obj_points = np.array([
    [0, 0, 0],
    [0, 100, 0],
    [140, 100, 0],
    [140, 0, 0]
], dtype=np.float32)
# 下面四个坐标替换为你在2D图中标注的沙发平面四个角点像素坐标，顺序和obj_points完全对应
img_points = np.array([
    [x1, y1],
    [x2, y2],
    [x3, y3],
    [x4, y4]
], dtype=np.float32)

# 3. 用平面专属求解方法计算外参，鲁棒性远高于默认算法
success, rvec, tvec = cv2.solvePnP(obj_points, img_points, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_IPPE)

求解成功后你会得到旋转向量rvec和平移向量tvec。

步骤2：将OpenCV外参转换为three.js可用参数 #

OpenCV和three.js的坐标系存在y轴、z轴方向差异，需要做转换后再赋值给3D平面：

旋转参数转换 #

首先用cv2.Rodrigues(rvec)将3x1的旋转向量转换为3x3旋转矩阵，再按如下规则填充到three.js的4x4变换矩阵中：

const rotMat = new THREE.Matrix4();
// rxx为OpenCV输出的3x3旋转矩阵对应位置的数值
rotMat.set(
    r00, -r01, -r02, 0,
    r10, -r11, -r12, 0,
    r20, -r21, -r22, 0,
    0,    0,    0,  1
);
// 从矩阵提取四元数赋值给平面
const quaternion = new THREE.Quaternion();
quaternion.setFromRotationMatrix(rotMat);
targetPlane.quaternion.copy(quaternion);

平移参数转换 #

对OpenCV输出的平移向量做y、z轴取反后直接赋值：

// tx、ty、tz为OpenCV输出的tvec三个分量
const position = new THREE.Vector3(tx, -ty, -tz);
targetPlane.position.copy(position);

步骤3：效果验证与优化 #

完成赋值后，可将3D平面的四个角点通过three.js相机投影到2D画布，和你标注的沙发角点像素坐标对比，若误差小于2像素则对齐正确，误差过大优先检查2D坐标点的标注精度和对应顺序。
如果需要在对齐后的平面上放置3D对象，直接将对象设置为平面的子元素，在平面局部坐标系下设置位置即可，不需要额外做坐标转换。

内容的提问来源于stack exchange，提问作者Shailja Atkotiya