如何在ArUco标记上实时叠加.obj模型且不新增窗口？

要实现将OBJ模型实时叠加在ArUco标记上方且仅在原窗口显示，需要结合相机位姿估计、3D模型加载和透视投影三个核心步骤，以下是具体实现方法：

前置依赖 #

需要安装额外库来加载OBJ模型：

pip install opencv-python pywavefront numpy

关键步骤说明 #

• 相机标定（必须）：要准确计算ArUco标记的3D位姿，需要相机的内参矩阵和畸变系数。你可以通过OpenCV的相机标定程序获取，若暂时没有标定数据，可使用近似内参（效果会稍差）。
• OBJ模型加载：使用pywavefront读取OBJ文件，提取模型的顶点坐标信息。
• 位姿计算与模型投影：检测到ArUco标记后，利用标记的3D世界坐标（已知标记尺寸）和2D图像坐标，通过cv2.solvePnP计算相机到标记的旋转和平移向量，再将3D模型顶点投影到2D图像平面，最后绘制到帧上。

完整代码实现 #

import cv2
import numpy as np
from pywavefront import Wavefront

# ---------------------- 配置参数 ----------------------
# 相机内参（替换为你的标定数据，示例为近似值）
camera_matrix = np.array([
    [800, 0, 320],
    [0, 800, 240],
    [0, 0, 1]
], dtype=np.float32)
dist_coeffs = np.zeros((4, 1), dtype=np.float32)  # 畸变系数，无畸变则为0

# ArUco标记参数
marker_dict = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
marker_size = 0.1  # 标记实际尺寸，单位：米（根据你的标记调整）
# 标记的3D世界坐标（假设标记在世界坐标系原点，z=0）
marker_3d_points = np.array([
    [-marker_size/2, -marker_size/2, 0],
    [marker_size/2, -marker_size/2, 0],
    [marker_size/2, marker_size/2, 0],
    [-marker_size/2, marker_size/2, 0]
], dtype=np.float32)

# 加载OBJ模型
model = Wavefront("your_model.obj", collect_faces=True)
# 提取模型顶点（转换为numpy数组）
model_vertices = np.array(model.vertices, dtype=np.float32)
# 可对模型进行缩放调整（根据需要）
scale_factor = 0.05  # 缩放系数，单位：米
model_vertices *= scale_factor

# ---------------------- 初始化相机 ----------------------
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        continue

    # 检测ArUco标记
    detector = cv2.aruco.ArucoDetector(marker_dict)
    corners, ids, _ = detector.detectMarkers(frame)

    if ids is not None:
        for i in range(len(ids)):
            # 获取当前标记的2D图像坐标
            marker_2d_points = corners[i].reshape(4, 2).astype(np.float32)
            
            # 计算位姿：旋转向量rvec，平移向量tvec
            success, rvec, tvec = cv2.solvePnP(
                marker_3d_points, marker_2d_points, camera_matrix, dist_coeffs
            )
            
            if success:
                # 将模型顶点投影到2D图像平面
                model_2d_points, _ = cv2.projectPoints(
                    model_vertices, rvec, tvec, camera_matrix, dist_coeffs
                )
                model_2d_points = model_2d_points.reshape(-1, 2).astype(np.int32)
                
                # 绘制模型的面（根据OBJ的face信息）
                for face in model.mesh_list[0].faces:
                    face_vertices = model_2d_points[face]
                    cv2.polylines(frame, [face_vertices], isClosed=True, color=(0, 255, 0), thickness=1)
    
    # 显示结果（仅一个窗口）
    cv2.imshow('frame', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放资源
cap.release()
cv2.destroyAllWindows()

代码说明 #

• 相机内参替换：请将camera_matrix和dist_coeffs替换为你实际标定得到的数据，否则模型叠加会出现偏移。
• 模型缩放：通过scale_factor调整模型大小，使其适配ArUco标记的尺寸。
• 模型绘制：这里使用cv2.polylines绘制模型的面，若模型有纹理，可额外实现纹理映射（需更多处理）。
• 实时性：代码在原检测循环内完成模型投影和绘制，无需额外窗口，保证实时运行。

内容的提问来源于stack exchange，提问作者AG-88301