如何正确使用Apple MLX框架保存微调后的模型？

以下是针对问题的具体解决步骤：

1. 确认mlx_lm.fuse命令参数的正确性 #

融合命令必须明确指定原模型路径、LoRA适配器路径和输出路径，确保参数无遗漏：

python -m mlx_lm.fuse --model-path deepseek-ai/deepseek-coder-6.7b-instruct --adapter-path adapters --save-path new_model

• 若原模型已本地缓存，建议使用本地绝对路径或相对路径，避免因缓存路径识别问题导致融合不完整。

2. 验证LoRA配置的一致性 #

检查适配器目录下自动生成的adapter_config.json，确保其中的r、alpha、target_modules等参数与微调时lora_config.yaml的配置完全匹配。如果微调时指定了自定义的目标模块，需确认融合工具正确识别了这些模块，避免部分层未被融合。

3. 融合后执行一致性验证 #

融合完成后，用相同的测试Prompt分别调用融合后的模型和原模型+适配器，对比输出结果：

• 调用融合后的模型：

  python -m mlx_lm.generate --model-path new_model --prompt "写一个快速排序的Python代码"
  

• 调用原模型+适配器：

  python -m mlx_lm.generate --model-path deepseek-ai/deepseek-coder-6.7b-instruct --adapter-path adapters --prompt "写一个快速排序的Python代码"
  

若输出差异显著，检查适配器目录下的adapter_model.safetensors文件是否完整，是否存在损坏情况。

4. 替代方案：直接复用适配器（无需融合） #

如果融合步骤始终存在问题，可以跳过融合，直接保存包含适配器的模型结构：

1. 复制原模型目录到新路径：

   cp -r deepseek-ai/deepseek-coder-6.7b-instruct my_finetuned_model
   

2. 将微调生成的adapters目录下的adapter_config.json和adapter_model.safetensors复制到my_finetuned_model/adapters
3. 后续调用时直接指定适配器路径：

   python -m mlx_lm.generate --model-path my_finetuned_model --adapter-path adapters --prompt "你的测试Prompt"
   

这种方式完全复用微调后的适配器，效果与微调后的评估结果一致。

5. 升级MLX及相关依赖 #

旧版本的MLX或mlx-lm可能存在融合逻辑的bug，升级到最新稳定版：

pip install --upgrade mlx mlx-lm

内容的提问来源于stack exchange，提问作者Eugene