Windows ML加载Custom Vision导出的ONNX目标检测模型时边界框坐标异常求助

没错，你遇到的核心问题就是模型输出的是归一化坐标，需要映射回原始图像的像素尺寸才能得到正确的边界框。Custom Vision导出的ONNX目标检测模型，默认输出的边界框坐标是相对于输入图像尺寸的0-1之间的归一化值，不是直接可用的像素坐标，这也是你看到置信度正常但位置不对的原因。

下面给你具体的解决步骤和代码示例：

1. 明确模型输出结构 #

Custom Vision的ONNX模型通常会输出三个核心张量：

• detected_boxes: 每个元素是一个四元组 [x_min, y_min, x_max, y_max]，全部是0-1之间的归一化值
• detected_scores: 对应每个框的置信度
• detected_classes: 对应每个框的目标类别

2. 基础坐标转换（无图像缩放/填充场景） #

如果你的测试图像是直接按模型要求的尺寸（比如416x416）输入的，那么直接用原始图像的宽高乘以归一化值即可：

// 替换为你的测试图像实际像素尺寸
int originalImageWidth = 1920;
int originalImageHeight = 1080;

// 假设你已经从模型输出中拿到第一个检测框的归一化坐标
float[] normalizedBox = modelOutput.DetectedBoxes[0];

// 转换为实际像素坐标
float actualXMin = normalizedBox[0] * originalImageWidth;
float actualYMin = normalizedBox[1] * originalImageHeight;
float actualXMax = normalizedBox[2] * originalImageWidth;
float actualYMax = normalizedBox[3] * originalImageHeight;

// 计算边界框宽高（可选）
float boxWidth = actualXMax - actualXMin;
float boxHeight = actualYMax - actualYMin;

3. 进阶坐标转换（含图像缩放/填充场景） #

如果你的测试图像是经过按比例缩放+黑边填充后才输入模型的（Custom Vision的ONNX模型通常要求这种预处理），需要先把归一化坐标映射回缩放后的图像，再还原到原始图像：

// 模型要求的输入尺寸（比如Custom Vision常用的416x416）
int modelInputWidth = 416;
int modelInputHeight = 416;
// 原始图像实际尺寸
int originalImageWidth = 1920;
int originalImageHeight = 1080;

// 计算缩放比例和填充量
float scale = Math.Min((float)modelInputWidth / originalImageWidth, (float)modelInputHeight / originalImageHeight);
float scaledImageWidth = originalImageWidth * scale;
float scaledImageHeight = originalImageHeight * scale;
float paddingX = (modelInputWidth - scaledImageWidth) / 2;
float paddingY = (modelInputHeight - scaledImageHeight) / 2;

// 模型输出的归一化坐标
float[] normalizedBox = modelOutput.DetectedBoxes[0];

// 步骤1：把归一化坐标转换到模型输入尺寸的图像上
float scaledXMin = normalizedBox[0] * modelInputWidth;
float scaledYMin = normalizedBox[1] * modelInputHeight;
float scaledXMax = normalizedBox[2] * modelInputWidth;
float scaledYMax = normalizedBox[3] * modelInputHeight;

// 步骤2：减去填充，再除以缩放比例得到原始图像的实际坐标
float actualXMin = (scaledXMin - paddingX) / scale;
float actualYMin = (scaledYMin - paddingY) / scale;
float actualXMax = (scaledXMax - paddingX) / scale;
float actualYMax = (scaledYMax - paddingY) / scale;

4. 验证方法 #

转换完成后，你可以用GDI+或者SkiaSharp把边界框绘制到测试图像上，看是否能准确框住浮标。比如用GDI+的示例：

using (Bitmap bmp = new Bitmap("test-buoy.jpg"))
using (Graphics g = Graphics.FromImage(bmp))
{
    Pen pen = new Pen(Color.Red, 3);
    g.DrawRectangle(pen, actualXMin, actualYMin, boxWidth, boxHeight);
    bmp.Save("test-result.jpg");
}

这样就能直观确认坐标转换是否正确了。

内容的提问来源于stack exchange，提问作者Sebastian S