通过Azure部署MLFlow模型端点时出现依赖冲突问题

问题原因 #

MLFlow自动记录模型依赖时，引入了与TensorFlow 2.9.1不兼容的高版本protobuf（4.21.7），而TensorFlow 2.9.1要求protobuf版本需满足3.9.2 <= protobuf < 3.20，最终导致部署阶段出现依赖冲突报错。

解决方案 #

1. 自定义conda环境文件强制指定兼容版本 #

手动创建conda.yaml配置文件，明确声明兼容的依赖版本，覆盖MLFlow自动生成的依赖配置：

name: mlflow-env
channels:
  - conda-forge
dependencies:
  - python=3.8
  - pip
  - pip:
      - tensorflow==2.9.1
      - protobuf<3.20,>=3.9.2
      - mlflow
      - azureml-mlflow

部署时：

• 若使用Azure ML Studio：在部署流程中选择「自定义环境」，上传该yaml文件作为环境配置。
• 若使用CLI：在部署命令中通过--conda-file参数指定该文件路径。

2. 使用Azure ML官方预构建TensorFlow环境 #

Azure ML提供了预先适配好依赖的官方TensorFlow环境，已内置解决版本冲突的配置。部署时直接选择对应版本的环境即可，例如：

• CPU环境：AzureML-tensorflow-2.9-ubuntu20.04-py38-cpu
• GPU环境：AzureML-tensorflow-2.9-gpu-ubuntu20.04-py38-cuda11.3

3. 调整MLFlow自动记录的依赖范围 #

修改MLFlow autolog参数，避免捕获不必要的高版本依赖，或手动指定模型的conda环境：

mlflow.tensorflow.autolog(log_models=False)  # 关闭自动模型记录，改为手动处理

with mlflow.start_run():
    # 训练代码逻辑...
    
    # 手动记录模型并绑定自定义conda环境
    mlflow.tensorflow.log_model(
        model=trained_model,
        artifact_path="model",
        conda_env="path/to/your/conda.yaml"  # 指向自定义的yaml配置文件
    )

内容的提问来源于stack exchange，提问作者lo tolmencre