OpenCV Aruco的tvec/rvec在Rajawali渲染3D模型位姿偏移问题求助

问题1：tvec/rvec使用前是否需要额外处理 #

需要做两项核心处理，你当前代码的用法存在明显错误：

• 旋转向量转换：OpenCV返回的rvec是罗德里格斯旋转向量，其向量方向代表旋转轴，模长代表旋转弧度，并非三个轴的欧拉角参数。你直接把三个分量转角度后传给Rajawali的setRotation方法逻辑完全错误，需要先通过罗德里格斯公式将rvec转换为旋转矩阵，再转换为Rajawali支持的四元数或对应顺序的欧拉角。
• 坐标系对齐：OpenCV相机坐标系规则为X轴向右、Y轴向下、Z轴沿相机光轴向前；Rajawali基于OpenGL坐标系，规则为X轴向右、Y轴向上、Z轴沿相机光轴向后，二者Y、Z轴方向相反，需要对tvec和旋转结果做坐标翻转适配。
• 额外注意：要保证estimatePoseSingleMarkers传入的markerLength单位和Rajawali场景的单位统一，比如实际标记物理长度为0.1米，markerLength就填0.1，Rajawali场景单位也要对应设置为米。

问题2：更易用的标记检测替代方案 #

• 原生Android开发首选AR Core：谷歌官方AR框架，自带标记检测能力，自动处理坐标系对齐、相机参数匹配等底层逻辑，不需要自行对接OpenCV和渲染引擎的适配。
• 跨平台/低代码开发选Unity+Vuforia：Vuforia是成熟度极高的标记AR SDK，封装度高，只需要导入标记资源、挂载3D模型即可完成开发，不需要手动处理位姿转换逻辑。
• 也可以选用ArUco + Sceneform组合：Sceneform是谷歌官方的3D渲染库，比Rajawali文档更完善，和Android系统兼容性更好。

问题3：位姿不准确的可能原因 #

• 位姿转换逻辑错误：即你当前代码的问题，旋转向量未正确转换为渲染引擎支持的参数，坐标系未对齐。
• 相机标定参数误差：如果所用的cameraMatrix和distortionCoef是通用参数，而非当前设备相机实际标定得到的参数，会直接导致位姿估算偏差。
• 标记尺寸不匹配：estimatePoseSingleMarkers传入的markerLength和实际打印的标记物理尺寸不一致，会导致tvec的缩放比例错误。
• 渲染引擎相机参数未对齐：Rajawali的相机投影矩阵需要和OpenCV的相机参数对应，视场角、近远裁剪面要匹配，否则即使位姿正确，渲染出的模型位置也会偏移。
• 标记检测误差：标记模糊、弯折、光照不均、遮挡都会导致角点检测不准，进而影响位姿估算结果。
• 3D模型原点偏移：导入的OBJ模型如果原点不在模型底部中心，也会出现模型未落在标记上的视觉偏差。

代码修改参考 #

1. 标记检测部分删除rvec转角度的代码，保留原始弧度值传递到渲染层即可。
2. 渲染层新增坐标转换逻辑，示例如下：

@Override
protected void onRender(long elapsedRealtime, double deltaTime) {
    super.onRender(elapsedRealtime, deltaTime);
    getCurrentScene().clearChildren();
    List<MarkerData> markerData = markerDetector.getDetectedMarkers();
    for (MarkerData marker : markerData) {
        try {
            int id = R.raw.monkey;
            LoaderOBJ parser = new LoaderOBJ(mContext.getResources(), mTextureManager, id);
            parser.parse();

            Object3D object = parser.getParsedObject();
            object.setMaterial(defaultMaterial);
            object.setScale(0.3);

            Mat rvec = marker.getRvec(); 
            Mat tvec = marker.getTvec(); 

            // 新增转换逻辑
            Mat rotMat = new Mat();
            Calib3d.Rodrigues(rvec, rotMat);
            float[] rotArray = new float[9];
            rotMat.get(0,0, rotArray);
            
            // 构建OpenCV位姿矩阵
            Matrix4 openCvPose = new Matrix4(
                    rotArray[0], rotArray[1], rotArray[2], (float)tvec.get(0,0)[0],
                    rotArray[3], rotArray[4], rotArray[5], (float)tvec.get(1,0)[0],
                    rotArray[6], rotArray[7], rotArray[8], (float)tvec.get(2,0)[0],
                    0, 0, 0, 1
            );
            // OpenCV转OpenGL坐标系矩阵
            Matrix4 cvToGl = new Matrix4();
            cvToGl.setToIdentity();
            cvToGl.scale(1, -1, -1);
            Matrix4 glPose = cvToGl.multiply(openCvPose);
            
            // 赋值转换后的位姿
            object.setPosition(glPose.getTranslation());
            object.setRotation(glPose.getRotation());

            getCurrentScene().addChild(object);
        } catch (ParsingException e) {
            e.printStackTrace();
        }
    }
}

内容的提问来源于stack exchange，提问作者Ali Elmasry