Apple AR SceneKit中YOLOv3检测边界框偏移、宽高比错误问题

问题现象 #

在AR SceneKit会话中结合YOLOv3与Apple Vision框架实现物体分类功能时，屏幕渲染的检测物体边界框存在两个问题：

• 整体位置过于靠下
• 宽高比显示异常
  错误效果参考：矿泉水瓶上的异常边界框

已知前提 #

• 应用固定为竖屏（portrait）模式
• Vision请求配置为centerCrop裁剪策略，orientation参数设置为.right

原有实现的核心问题 #

你怀疑步骤4出错的判断是对的，整个流程共有3处错误：

• 多余的手动坐标翻转：步骤1手动执行1 - boundingBox.origin.y翻转y轴完全多余，后续调用的displayTransform方法已经内置了Vision坐标系（原点在左下角）到UIKit坐标系（原点在左上角）的转换逻辑，提前翻转会直接导致y轴坐标偏移。
• ROI计算逻辑错误：步骤2中还原centerCrop操作的ROI偏移量计算公式写错，直接导致还原后的坐标整体下移，是边界框位置靠下的核心原因。
• displayTransform方向参数错误：步骤4传入了.landscapeRight作为方向参数，但应用实际运行在竖屏模式，参数不匹配直接导致坐标映射时出现宽高拉伸、位置偏移，这就是你调试时观察到该步骤宽高比突变的根源。

修复后的完整坐标转换流程 #

删除原有步骤1的手动翻转代码，按以下逻辑重写转换流程：

1. 还原Vision的centerCrop裁剪操作

// 获取相机传感器原生分辨率
let imageResolution = currentFrame.camera.imageResolution
let nativeWidth = imageResolution.width
let nativeHeight = imageResolution.height

// 正确计算centerCrop对应的归一化ROI区域
let scale = max(nativeWidth, nativeHeight) / min(nativeWidth, nativeHeight)
let roi: CGRect
if nativeWidth > nativeHeight {
    // 原生传感器输出为横版图像，竖屏使用时裁剪上下区域
    roi = CGRect(x: 0, y: (1 - 1/scale)/2, width: 1, height: 1/scale)
} else {
    roi = CGRect(x: (1 - 1/scale)/2, y: 0, width: 1/scale, height: 1)
}

// 将YOLO输出的、基于裁剪后正方形图的归一化坐标，还原到原生相机图像坐标系
let nativeCoordBox = VNImageRectForNormalizedRectUsingRegionOfInterest(
    boundingBox,
    Int(nativeWidth),
    Int(nativeHeight),
    roi
)

2. 将原生图像坐标转换回归一化形式

let normalizeTransform = CGAffineTransform(scaleX: 1.0 / nativeWidth, y: 1.0 / nativeHeight)
let normalizedBox = nativeCoordBox.applying(normalizeTransform)

3. 转换为场景视图坐标系（修正方向参数）

let viewportSize = sceneView.bounds.size
// 注意：方向参数必须和当前UI方向一致，竖屏传入.portrait
let displayTransform = currentFrame.displayTransform(for: .portrait, viewportSize: viewportSize)
let viewNormalizedBox = normalizedBox.applying(displayTransform)

4. 缩放至视口实际尺寸

let scaleTransform = CGAffineTransform(scaleX: viewportSize.width, y: viewportSize.height)
let finalBoundingBox = viewNormalizedBox.applying(scaleTransform)

额外排查项 #

如果修复后仍有细微偏移，检查以下两点：

• 计算视口尺寸时是否需要排除sceneView.safeAreaInsets的影响，部分刘海屏机型的安全区会导致坐标系计算偏差
• 确保所有坐标转换和边界框渲染逻辑和ARFrame的捕获时序同步，避免使用过期的帧数据做坐标计算

内容的提问来源于stack exchange，提问作者suspiciousDev