Databricks+AML运行MLFlow触发RESOURCE_ALREADY_EXISTS报错求助

排查与解决步骤 #

报错信息：
RestException: RESOURCE_ALREADY_EXISTS: Failed to create AML experiment for experiment id=863468136127724, name=/my-experiment3, artifactLocation=dbfs:/databricks/mlflow-tracking/863468136127724. There is an existing AML experiment with id=c74bdea3-e382-4cdf-868a-ee1421de078e and name='/adb/5909321886823418/863468136127724/my-experiment3' and artifactLocation='' that is not compatible.

该问题由MLflow v1.21.0版本对实验命名拼接逻辑的调整，和Azure ML + Databricks集成的原有命名规则冲突导致，可按以下步骤处理：

• 清理AML侧冗余无效实验
  进入Azure ML工作区实验管理页，删除所有路径前缀为/adb/5909321886823418/、artifactLocation为空的重复实验条目。批量删除可执行AML CLI命令：az ml experiment delete --name "/adb/5909321886823418/863468136127724/my-experiment3"
• 调整MLflow实验初始化代码
  不要使用带/前缀的实验名称，初始化时显式指定实验名，关闭自动路径拼接：

  import mlflow
  mlflow.set_tracking_uri(mlflow.get_tracking_uri())
  mlflow.set_registry_uri('azureml://')
  # 直接用纯名称，不要加路径前缀
  mlflow.set_experiment(experiment_name="my-experiment3")
  

• 版本兼容性验证
  上述操作无效的情况下，先将MLflow版本回退到v1.20.2，确认是否是版本升级导致的适配问题。
• 检查集群集成配置
  核对Databricks集群的Azure ML关联配置，确保租户ID、工作区ID、订阅ID等参数和9月正常运行时的配置一致，没有被后台自动更新修改。

内容的提问来源于stack exchange，提问作者Rob101