如何利用OpenCV单应性在Unity中定位目标并调整相机位姿

Got it, you've got the homography matrix between your WebcamTexture and target object, and now you want to map that to Unity's camera transform parameters. The code snippet you have is just the starting point—let's flesh this out properly, including handling the critical coordinate system differences between OpenCV and Unity.

核心原理回顾 #

单应性矩阵 ( H ) 本质上是相机内参 ( K )、旋转矩阵 ( R )、平移向量 ( t ) 的组合：( H = K[R | t] )。我们需要先对 ( H ) 做归一化，分解出正交的旋转矩阵和平移向量，再转换为Unity能直接使用的变换参数。

补全OpenCV端的位姿分解代码 #

First, let's finish the cameraPoseFromHomography function to properly extract the 3x4 camera pose matrix (which holds ( R ) and ( t )):

#include <opencv2/core/core.hpp>
#include <opencv2/core/svd.hpp>

void cameraPoseFromHomography(const cv::Mat& H, cv::Mat& pose) { 
    pose = cv::Mat::eye(3, 4, CV_32FC1); // 3x4 相机位姿矩阵，格式为 [R | t]
    float norm1 = static_cast<float>(cv::norm(H.col(0))); 
    float norm2 = static_cast<float>(cv::norm(H.col(1))); 
    float tnorm = (norm1 + norm2) / 2.0f; // 计算归一化因子，消除尺度模糊

    // 归一化H的前两列（对应旋转矩阵的前两个轴）
    cv::Mat col0 = H.col(0) / tnorm;
    cv::Mat col1 = H.col(1) / tnorm;
    // 计算第三列（前两列的叉乘，保证旋转矩阵的正交性）
    cv::Mat col2 = col0.cross(col1);

    // 构造初始旋转矩阵
    cv::Mat R(3, 3, CV_32FC1);
    col0.copyTo(R.col(0));
    col1.copyTo(R.col(1));
    col2.copyTo(R.col(2));

    // 用SVD修正旋转矩阵的正交性（单应性分解可能引入微小偏差）
    cv::Mat u, s, vt;
    cv::SVD::compute(R, u, s, vt);
    R = u * vt;

    // 提取平移向量（归一化后）
    cv::Mat t = H.col(2) / tnorm;

    // 将R和t填充到位姿矩阵中
    R.copyTo(pose(cv::Rect(0, 0, 3, 3)));
    t.copyTo(pose(cv::Rect(3, 0, 1, 3)));
}

转换为Unity相机的变换参数 #

OpenCV使用右手坐标系（X向右，Y向下，Z向前），而Unity用左手坐标系（X向右，Y向上，Z向前）。我们需要做坐标空间转换，同时注意相机的变换逻辑（pose矩阵是相机到目标的变换，Unity需要的是目标到相机的逆变换）：

Here's the C# code to apply the pose to your Unity camera:

using UnityEngine;

public class CameraPoseSetter : MonoBehaviour
{
    public void ApplyHomographyPose(float[,] openCVPoseMatrix)
    {
        // 将OpenCV的3x4矩阵转换为Unity的4x4齐次矩阵
        Matrix4x4 cvPose = new Matrix4x4();
        for (int row = 0; row < 3; row++)
        {
            for (int col = 0; col < 4; col++)
            {
                cvPose[row, col] = openCVPoseMatrix[row, col];
            }
        }
        // 补充齐次坐标的第四行
        cvPose[3, 0] = 0;
        cvPose[3, 1] = 0;
        cvPose[3, 2] = 0;
        cvPose[3, 3] = 1;

        // 构造OpenCV到Unity的空间转换矩阵（绕X轴旋转180度，翻转Y轴方向）
        Matrix4x4 spaceConverter = Matrix4x4.TRS(
            Vector3.zero,
            Quaternion.Euler(180f, 0f, 0f),
            Vector3.one
        );

        // 计算Unity相机的世界变换矩阵：逆变换+空间转换
        Matrix4x4 unityCameraPose = spaceConverter * cvPose.inverse;

        // 应用到相机的Transform组件
        Camera mainCam = Camera.main;
        mainCam.transform.position = unityCameraPose.GetColumn(3);
        mainCam.transform.rotation = Quaternion.LookRotation(
            unityCameraPose.GetColumn(2), 
            unityCameraPose.GetColumn(1)
        );
    }
}

关键注意事项 #

• 相机内参的准确性：单应性矩阵 ( H ) 的计算必须基于正确的相机内参（焦距、主点坐标）。如果是WebcamTexture，你需要提前标定相机，或者使用基于分辨率的近似值（比如假设主点在图像中心）。
• 尺度不确定性：单应性矩阵本身存在尺度模糊，所以平移向量的尺度是相对的。如果需要绝对尺度（比如让相机和真实世界中的目标位置匹配），你需要引入额外的参考（比如已知真实尺寸的目标物体）。
• 正交化修正：代码中用SVD修正旋转矩阵的正交性是必要的——单应性分解得到的初始旋转矩阵可能不是严格正交的，会导致相机旋转出现异常。

内容的提问来源于stack exchange，提问作者Faizuddin Mohammed