M1 Mac运行distil-whisper训练遇RuntimeError：不支持autocast device_type 'mps'

核心原因 #

• PyTorch版本过低：早期PyTorch（1.13及之前）未完善MPS设备的自动混合精度（autocast）支持，torch.amp.autocast原本为CUDA设备设计，MPS相关适配是后续版本才新增的，代码触发autocast时就会报不支持'mps'的错误。
• 配置与代码逻辑冲突：虽然你的accelerate配置里mixed_precision: 'no'，但distil-whisper训练代码内部可能存在强制启用autocast的逻辑，或者accelerate处理MPS设备时存在兼容问题，仍会触发autocast调用。

解决步骤 #

1. 升级PyTorch到2.0及以上版本
   新版本已完善MPS的AMP支持，执行以下命令升级：

   pip3 install --upgrade torch torchvision torchaudio
   

2. 修改accelerate配置的混合精度设置
   将配置里的mixed_precision: 'no'改为mixed_precision: 'fp16'，MPS设备支持FP16混合精度，这样能让accelerate正确适配MPS的autocast逻辑，避免错误。修改后的配置：

   compute_environment: LOCAL_MACHINE
   debug: false
   distributed_type: 'NO'
   downcast_bf16: 'no'
   machine_rank: 0
   main_training_function: main
   mixed_precision: 'fp16'
   num_machines: 1
   num_processes: 1
   rdzv_backend: static
   same_network: true
   tpu_env: []
   tpu_use_cluster: false
   tpu_use_sudo: false
   use_cpu: false
   

3. 检查并调整代码中的autocast调用
   如果代码里有手动写torch.autocast(device_type='cuda')的地方，把device_type改成'mps'；或者直接用accelerate提供的accelerator.autocast()上下文管理器，它会自动适配当前设备类型。

补充说明 #

你在autocast_mode.py里找不到'mps'相关设置，是因为旧版本PyTorch的这个文件只支持cuda、cpu等设备，MPS的支持是后续版本新增的，升级PyTorch后就能看到对应的代码逻辑了。

内容的提问来源于stack exchange，提问作者afsara_ben