构建360°天空全景检测障碍物的技术实现问询

我正在开发一款和Starlink移动端APP功能类似的天空障碍物检测APP。这款APP通过实时相机画面引导用户完成360°天空视野扫描，相机画面会叠加绿色球形标记指示需扫描的完整视野范围，用户需要“收集”所有标记完成全视野扫描，扫描结束后APP会展示一个3D半球模型，上面叠加检测到的障碍物纹理贴图。

我的初步实现策略：

• 采用RealityKit（iOS端）或ARCore（Android端）构建实时相机画面，在天空目标视野中锚定虚拟球形标记；
• 当用户将相机对准目标视野时，检测标记是否在设备视口内，若是则标记消失并同时捕获当前相机画面；
• 完成所有标记扫描后，使用OpenCV库及计算机视觉算法（单应性、旋转矩阵等）拼接捕获的图像，生成360°全景图；
• 利用OpenCV或图像分割ML库处理全景图，检测非天空物体（即障碍物），将天空渲染为蓝色，障碍物渲染为红色；
• 将步骤4的输出作为纹理贴图，叠加在模拟扫描视野的3D半球网格上。

目前卡在步骤3（生成360°全景图），且步骤2的图像捕获算法也存在问题，会影响图像质量，进而增加步骤3的全景拼接难度。

步骤3的难点在于：天空无障碍物时画面为单一蓝色背景，捕获的图像缺乏特征，无法使用ORB等传统OpenCV特征匹配算法对齐图像，需通过复杂计算机视觉概念编写自定义代码实现全景拼接。

尝试1：基于相对旋转的无特征图像拼接 #

为每张捕获的图像保存相机参数（欧拉角、相机内参），计算其与前一张图像的相对旋转矩阵，执行鱼眼/球面旋转变形。

结果：

• 结果1：拼接结果1
• 结果2：拼接结果2

代码片段：

# "Estimate" camera params with the given metadata for all images.
def estimate(self, metadata):
    cameras = []
    for i in range(len(metadata)):
        # For the first image, use the last image in the list as the reference point
        metadata1 = metadata[i - 1]
        metadata2 = metadata[i]

        # Camera intrinsics for image 2 (transposed because ARKit uses column-first matrices)
        K2 = np.array(metadata1['intrinsics'][0], dtype=np.float32).transpose()

        # Convert Euler angles to rotation matrix for image 1 and 2
        R1 = self.euler_to_rotation_matrix(metadata1['eulerAngleX'], metadata1['eulerAngleY'], metadata1['eulerAngleZ'])
        R2 = self.euler_to_rotation_matrix(metadata2['eulerAngleX'], metadata2['eulerAngleY'], metadata2['eulerAngleZ'])

        # Relative rotation matrix calculation using rotation matrices for image 1 and 2
        R = R1 @ np.linalg.inv(R2)

        camera = CameraParams(R, K2)
        cameras.append(camera)

    for cam in cameras:
        cam.R = cam.R.astype(np.float32)
    return cameras

# Warp image with the camera params. I use warper_type = 'fisheye' here
def warp_image(self, img, camera, aspect=1):
    warper = cv.PyRotationWarper(self.warper_type, self.scale * aspect)
    _, warped_image = warper.warp(
        img,
        Warper.get_K(camera, aspect),
        camera.R,
        cv.INTER_LINEAR,
        cv.BORDER_REFLECT,
    )
    return warped_image

可见全景图形状随捕获图像变化过大，且存在大量间隙，无法用于障碍物检测。

尝试2：添加伪特征以实现特征匹配 #

将视野中的球形标记作为特征，按视野区域为标记赋予不同颜色，使重叠图像可通过相同颜色标记完成拼接。

示例图像：伪特征示例图

理论可行，但使用stitching_detailed.py及OpenStitching无法完成至少两张图像的对齐，最终放弃该方案。

1. 我的初步实现策略是否正确？
2. 全景拼接是否存在无需复杂计算机视觉概念的简化方案，且能有效完成天空障碍物检测？
3. 请CV/AR领域专家提供该图像拼接问题的解决方案。

1. 初步实现策略合理性评估 #

整体方向正确，但存在可优化环节：

• 步骤2的图像捕获逻辑需调整：当前仅检测标记在视口内就捕获图像，易出现图像模糊、曝光不一致问题，建议增加标记完全覆盖视口+相机姿态稳定的判断条件，同时锁定曝光/白平衡参数，保证捕获图像的一致性；
• 步骤3依赖纯CV拼接的思路可优化：既然已经使用AR框架（RealityKit/ARCore），可直接利用AR提供的高精度位姿数据，跳过传统特征匹配环节，降低拼接难度。

2. 简化全景拼接的方案 #

无需复杂CV算法，直接基于AR框架的位姿数据做球面投影拼接：

核心思路 #

利用AR框架输出的**相机外参（世界坐标系下的旋转/平移）**和内参，将每张捕获的图像直接投影到预定义的半球面纹理上，无需特征匹配：

1. 预定义覆盖360°天空的半球面UV映射；
2. 对每张捕获的图像，根据AR提供的精确位姿，计算图像中每个像素对应的半球面UV坐标；
3. 将像素值直接写入半球面纹理的对应位置，重叠区域取均值或加权融合；
4. 最终得到完整的半球面纹理，直接用于后续障碍物检测。

优势 #

• 完全避开无特征图像的匹配问题，依赖AR的高精度位姿（误差通常在几度以内）；
• 实现简单，无需复杂拼接算法，减少开发成本；
• 输出直接是半球面纹理，无需额外转换即可用于步骤5的3D模型展示。

3. 针对当前拼接问题的具体优化方案 #

如果坚持使用现有CV拼接思路，可从以下方向优化：

优化基于相对旋转的拼接（尝试1） #

• 修正位姿计算逻辑：当前代码用前一张图像作为参考计算相对旋转，累积误差会导致最终拼接偏移。建议选择第一张图像作为全局参考，所有图像的旋转矩阵都相对于该全局参考计算，避免累积误差；
• 加入平移补偿：AR框架输出的位姿包含平移信息，当前仅用旋转矩阵，忽略相机微小平移会导致图像投影错位。需将平移转换为球面投影的偏移量，或使用完整的投影矩阵（包含旋转+平移）进行图像变形；
• 图像融合优化：对重叠区域使用多频段融合算法（OpenCV的cv.createMergeMertens()），消除拼接缝隙，提升全景图一致性。

改进伪特征拼接方案（尝试2） #

• 优化标记设计：不要只用颜色区分，给每个标记添加唯一几何特征（如不同形状的二维码、特定图案），提升特征检测的鲁棒性；
• 自定义特征匹配逻辑：不要依赖OpenCV的自动拼接流程，手动检测图像中的标记，提取标记的像素坐标和对应的世界坐标系位置，直接计算单应性矩阵进行图像对齐；
• 强制对齐约束：拼接时加入AR位姿的先验信息，将特征匹配结果与AR位姿融合，提升对齐精度。

替代方案：直接基于AR帧做障碍物检测 #

跳过全景拼接环节，直接在AR实时扫描过程中检测障碍物：

1. 对每个AR帧，用图像分割模型（如MobileNetV2-SSDLite、自定义语义分割模型）检测天空区域；
2. 将检测到的障碍物区域，根据当前相机位姿投影到半球面纹理的对应位置；
3. 扫描完成后，直接得到完整的障碍物纹理。

这种方案完全避开拼接问题，实时性更好，适合移动端场景。

内容的提问来源于stack exchange，提问作者uohzxela