远程MLFlow实验使用PyTorch Lightning时log_dict报错求助

问题原因 #

你遇到的错误是因为MLFlow客户端无法识别mlflow-artifacts:这个存储协议，核心原因是远程MLFlow服务器没配置默认的artifact存储根目录，或者客户端和服务器的配置不匹配，导致无法找到对应的存储仓库。

修复方案 #

1. 给远程MLFlow服务器配置默认artifact存储 #

启动MLFlow服务器时，必须加上--default-artifact-root参数，指定一个支持的存储路径（比如本地目录、S3、FTP等）。示例命令：

# 用S3作为存储的例子
mlflow server --backend-store-uri postgresql://user:password@db-host:5432/mlflow_db --default-artifact-root s3://your-bucket/mlflow-artifacts --host 0.0.0.0

# 用本地目录作为存储的例子（注意远程服务器的目录要可读写）
mlflow server --backend-store-uri ./mlruns --default-artifact-root ./mlartifacts --host 0.0.0.0

2. 初始化MLFlowLogger时显式指定artifact存储路径 #

如果不想修改服务器配置，可以在创建MLFlowLogger的时候，直接指定artifact_location参数，用已支持的协议（比如file://、s3://）：

from pytorch_lightning.loggers import MLFlowLogger
logger = MLFlowLogger(
    experiment_name=EXPERIMENT_NAME,
    tracking_uri=MLFLOW_TRACKING_URI,
    run_name=args.prefix,
    artifact_location="s3://your-bucket/mlflow-artifacts"  # 替换成你的实际存储路径
)

3. 改用PyTorch Lightning内置的日志方法记录字典 #

不用直接调用logger.experiment.log_dict，换成PL Logger自带的方法更稳妥：

import json
# 方法1：用log_text直接记录字典内容
dict_data = {1:1, 2:2}
logger.log_text(key="test_dict", value=json.dumps(dict_data), filename="test.json")

# 方法2：保存为文件后上传
with open("test.json", "w") as f:
    json.dump(dict_data, f)
logger.log_artifact("test.json")

4. 确保客户端和服务器的MLFlow版本一致 #

不同版本的MLFlow对mlflow-artifacts协议的支持可能有差异，执行以下命令把客户端版本改成和服务器一致：

pip install mlflow==<服务器的MLFlow版本号>

5. 安装对应存储的依赖包 #

如果你的artifact存储用了S3、GCS这类服务，需要安装对应的MLFlow扩展依赖：

# S3存储
pip install mlflow[s3]
# GCS存储
pip install mlflow[gcs]
# FTP/SFTP存储
pip install mlflow[ftp]

内容的提问来源于stack exchange，提问作者Alex Nikitin