如何让Vision ML目标检测的CGRect boundingBox适配角度与旋转？

一、优化模型训练（根源解决） #

• 扩展训练数据集：给现有数据集添加不同旋转角度（0°-360°，重点覆盖常见倾斜场景）的卡片样本，标注时除了标注CGRect类型的bounding box，同时标注卡片四个角的坐标（topLeft、topRight、bottomLeft、bottomRight）。
• 调整模型结构：使用支持关键点检测的目标检测架构（比如YOLOv8关键点版本、自定义修改目标检测模型头部增加关键点预测分支），让模型在输出bounding box的同时，额外预测卡片四个角的坐标。训练时将四个角点的坐标作为监督信号，这样模型就能直接输出适配旋转的四边形顶点，无需额外计算。
• 适配Core ML流程：如果使用Core ML工具链，确保导出的模型包含关键点输出，后续检测时直接提取四个角点绘制即可。

二、用CGAffineTransform结合二次检测（快速折中） #

如果暂时无法重新训练模型，可以结合Vision的矩形检测功能，在模型输出的bounding box范围内补充检测卡片的旋转角度，再通过CGAffineTransform调整绘制的矩形：

• 步骤1：将模型输出的boundingBox转换为当前图像坐标系下的区域（注意Vision和UIKit坐标系的差异）。
• 步骤2：创建VNDetectRectanglesRequest，设置regionOfInterest为上述bounding box区域，同时配置maximumObservations = 1，只检测最匹配的矩形。
• 步骤3：对当前相机帧图像执行该请求，获取检测到的四个角点坐标。
• 步骤4：计算旋转角度：通过四个角点的坐标，计算卡片的倾斜角度（比如计算topLeft到topRight的向量与水平方向的夹角）。
• 步骤5：应用变换：以原bounding box的中心为旋转中心，创建CGAffineTransform(rotationAngle:)，将该变换应用到绘制的矩形上，实现旋转适配。
• 边界处理：如果二次检测失败（比如卡片边缘不清晰），则回退到原bounding box绘制，避免显示异常。

方案对比 #

• 优先选择优化模型训练的方案：无需额外检测步骤，鲁棒性更强，完全符合你依赖ML模型的长期需求。
• 二次检测+变换方案适合临时快速适配，但受限于卡片边缘清晰度，存在一定的失效风险。

内容的提问来源于stack exchange，提问作者Emilia Larssen