如何微调MusicVAE/MusicRNN生成指定调式旋律？附报错排查

报错原因 #

你遇到的矩阵维度不匹配错误，核心原因是自定义的MusicVAESpec与加载的预训练模型架构不兼容：

• 你加载的mel_4bar_med_lokl_q2是无调式条件的预训练模型，其权重基于无key分支的网络结构训练；
• 但你在VAEspec中设置了conditionOnKey: true，这会强制模型加载带调式分支的网络结构，导致输入张量维度（1382）与预训练权重的维度（1370）不匹配，触发矩阵乘法错误。

生成特定调式旋律的可行方案 #

方案1：使用支持调式条件的预训练MusicVAE模型 #

Magenta提供了预训练的带调式条件的MusicVAE模型，直接替换模型地址即可，无需自定义不兼容的spec：

• 替换模型地址为支持key条件的预训练模型（如music_vae/mel_4bar_med_key_q2）；
• 此时conditionOnKey: true配置合法，controlArgs中的key参数可正常生效（key值对应MIDI音高，比如60=C大调、61=C#大调）。

修正后的代码示例：

async generateMelody() {
  this.isLoading = true;

  // 配置与目标预训练模型兼容的spec
  const VAEspec = {
    "type": "MusicVAE",
    "dataConverter": {
      "type": "MelodyConverter",
      "args": {
        "numSteps": 16,
        "minPitch": 21,
        "maxPitch": 108,
        "ignorePolyphony": true,
      }
    },
    "useBooleanDecoder": false,
    "conditionOnKey": true
  };

  // 替换为支持调式条件的预训练模型地址
  const model = new mm.MusicVAE('https://storage.googleapis.com/magentadata/js/checkpoints/music_vae/mel_4bar_med_key_q2', VAEspec);
  await model.initialize();

  const temperature = Math.random() * 0.2 + 0.6;
  // key=60对应C大调，可按需修改
  const controlArgs = { key: 60 };
  const samples = await model.sample(1, temperature, controlArgs);
  
  console.log(samples);
  this.isLoading = false;
}

方案2：微调自定义MusicVAE/MusicRNN模型生成特定调式 #

如果需要基于自有数据集微调模型，流程如下：

1. MusicVAE微调：

   • 训练阶段配置MusicVAESpec时开启conditionOnKey: true，同时确保训练数据包含调式标签；
   • 训练完成后将模型导出为JS兼容格式，前端加载后即可通过controlArgs的key参数约束调式。

2. MusicRNN生成特定调式：

   • MusicRNN无直接调式条件参数，但可通过两种方式约束：
     • 传入符合目标调式的种子旋律，调用continueSequence方法让模型基于种子延续旋律；
     • 自定义MelodyConverter时过滤调式外音高，强制生成旋律符合目标调式。

额外注意 #

• 预训练模型的配置必须与MusicVAESpec严格匹配，否则会持续出现维度不匹配错误；
• key参数取值对应MIDI音高（0-127），每个数值对应一个大调/小调（如67=G大调）。

内容的提问来源于stack exchange，提问作者Yaw Botwe