使用ML.NET调用Essentia ONNX模型预测时触发System.InvalidOperationException

核心问题定位 #

你遇到的System.InvalidOperationException本质是输入输出张量的维度/类型不匹配，或者ML.NET与ONNX模型的张量映射逻辑冲突，具体集中在以下几个点：

1. 未显式指定模型输入输出列映射 #

ApplyOnnxModel如果不指定inputColumnNames和outputColumnNames，ML.NET会尝试自动匹配列名，但容易因为模型内部张量名称的细微差异导致映射失败，进而在数据处理阶段抛出异常。

2. 输出类型不匹配 #

你用float[]去获取名为embeddings的列，但ModelOutput定义中该列是float[,]（64×512的二维数组），类型不匹配会触发数据转换错误，这是触发异常的直接原因。

3. 输入维度顺序可能与模型要求不符 #

Essentia的discogs_track_embeddings-effnet-bs64模型输入要求的张量维度通常是[batch_size, n_mels, time_frames, channels]（即[1,96,128,64]），但你的ModelInput中定义的是[64,128,96]，维度顺序完全颠倒，导致模型无法正确解析输入数据。

具体修复步骤 #

步骤1：确认ONNX模型的输入输出规格 #

用Netron工具打开你的ONNX模型，查看：

• 输入张量的名称（通常是melspectrogram）和维度（比如(1,96,128,64)）
• 输出张量的名称（通常是embeddings）和维度（比如(1,64,512)）

步骤2：修正模型输入输出列的显式映射 #

修改ApplyOnnxModel的初始化代码，明确指定输入输出列：

var pipeline = mlContext.Transforms.ApplyOnnxModel(
    inputColumnNames: new[] { "melspectrogram" },
    outputColumnNames: new[] { "embeddings" },
    modelFile: modelPath,
    fallbackToCpu: true
);

步骤3：修正输入数据的维度定义 #

根据模型要求调整ModelInput的维度顺序，比如如果模型输入是(96,128,64)，则修改：

public class ModelInput
{
    [VectorType(96, 128, 64)] // 匹配模型输入维度顺序
    [ColumnName("melspectrogram")]
    public float[,,] Melspectrogram { get; set; }

    public ModelInput()
    {
        Melspectrogram = new float[96, 128, 64];
    }
}

同时确保MelSpectrogramGenerator.ConvertToFloat(segment)返回的数组维度与上述定义完全一致。

步骤4：修正输出数据的获取方式 #

由于输出是二维数组float[,]，需要用对应类型获取列数据：

// 替换原有的embeddingColumn获取代码
var embeddingColumn = transformedData.GetColumn<float[,]>("embeddings").ToList();
foreach (var rowEmbeddings in embeddingColumn)
{
    for (int i = 0; i < rowEmbeddings.GetLength(0); i++)
    {
        for (int j = 0; j < rowEmbeddings.GetLength(1); j++)
        {
            Console.Write($"{rowEmbeddings[i,j]} ");
        }
    }
}

如果模型输出是批量维度+二维数据（比如(1,64,512)），也可以用VBuffer<float>来获取并转换：

var embeddings = transformedData.GetColumn<VBuffer<float>>("embeddings").First();
float[] embeddingArray = embeddings.DenseValues().ToArray();
// 再将一维数组转为64×512的二维数组
float[,] embedding2D = new float[64,512];
Buffer.BlockCopy(embeddingArray, 0, embedding2D, 0, embeddingArray.Length * sizeof(float));

步骤5：验证Mock数据的有效性 #

确保拟合模型时的Mock数据维度正确，避免ML.NET错误推断输入形状：

// 初始化符合维度要求的Mock数据
var mockInput = new ModelInput();
// 可选：填充一些非零测试值，避免空数组可能的问题
for (int i = 0; i < 96; i++)
    for (int j = 0; j < 128; j++)
        for (int k = 0; k < 64; k++)
            mockInput.Melspectrogram[i,j,k] = 0.1f;

IDataView mockData = mlContext.Data.LoadFromEnumerable(new List<ModelInput>() { mockInput });
var model = pipeline.Fit(mockData);

额外排查建议 #

• 打印模型转换后的Schema时，重点关注embeddings列的类型，比如是否为Vector<Single, 2>（二维向量），确保与代码中的类型定义一致。
• 检查输入数据的取值范围：Essentia模型通常要求输入的梅尔频谱值经过标准化（比如归一化到[0,1]或[-1,1]），如果数据范围不符合模型训练时的要求，也可能导致内部错误。

内容的提问来源于stack exchange，提问作者Epsilon Rho