使用Github Actions时Mlflow无法向Dagshub完整记录数据

问题背景 #

脚本本地运行时可完整记录训练参数、模型参数和测试指标到Dagshub关联的MLflow服务器，但通过GitHub Actions执行时，仅能记录部分训练参数，模型专属参数与测试指标均未记录，日志出现以下错误：

Exception: 执行一项或多项日志记录操作时发生以下失败：[MlflowException('无法对ID为f72e708e6f7b43c49e88769357547b54的运行执行一项或多项操作。失败的操作：[RestException("INVALID_PARAMETER_VALUE: Response: {'error_code': 'INVALID_PARAMETER_VALUE'}")]')]
2024-03-16T11:05:16.7804154Z 2024/03/16 11:05:16 WARNING mlflow.utils.autologging_utils: sklearn自动记录过程中遇到意外错误：执行一项或多项日志记录操作时发生以下失败：[MlflowException('无法对ID为f72e708e6f7b43c49e88769357547b54的运行执行一项或多项操作。失败的操作：[RestException("INVALID_PARAMETER_VALUE: Response: {'error_code': 'INVALID_PARAMETER_VALUE'}")]')]

2024-03-16T11:05:16.5074723Z 2024/03/16 11:05:16 WARNING mlflow.models.model: 向跟踪服务器记录模型元数据失败。模型工件已成功记录在mlflow-artifacts:/44ab2167890f4d81a6a74d258b2e05f0/f72e708e6f7b43c49e88769357547b54/artifacts下。通过`logging.getLogger("mlflow").setLevel(logging.DEBUG)`设置日志级别为DEBUG以查看完整回溯信息。
2024-03-16T11:05:16.5092754Z 2024/03/16 11:05:16 DEBUG mlflow.models.model: 
2024-03-16T11:05:16.5093642Z urllib3.exceptions.ResponseError: too many 500 error responses
...（省略后续回溯信息）

解决建议 #

1. 排查并清理MLflow日志参数 #

• 定位无效参数：在脚本开头添加DEBUG日志配置，查看具体触发INVALID_PARAMETER_VALUE的参数：

  import logging
  logging.getLogger("mlflow").setLevel(logging.DEBUG)
  

• 过滤自动记录内容：sklearn的autolog可能生成过长或含特殊字符的参数，手动控制日志范围：

  mlflow.sklearn.autolog(
      log_models=False,  # 先关闭模型自动记录，单独调试
      log_datasets=False,
      excluded_parameters=["verbose", "n_jobs"]  # 排除潜在问题参数
  )
  

• 规范参数格式：参数名避免包含/、\、空格等特殊字符，过长名称可截断，确保非字符串参数值能被JSON序列化。

2. 验证GitHub Actions权限与环境配置 #

• 确认Dagshub令牌权限：GitHub Secrets中存储的DAGSHUB_TOKEN需拥有目标仓库的write权限，避免因权限不足触发服务器500错误。
• 检查MLflow环境变量：在Workflow中确保正确配置以下变量：

  env:
    MLFLOW_TRACKING_URI: "https://dagshub.com/你的用户名/你的仓库.mlflow"
    MLFLOW_TRACKING_USERNAME: ${{ secrets.DAGSHUB_USERNAME }}
    MLFLOW_TRACKING_PASSWORD: ${{ secrets.DAGSHUB_TOKEN }}
  

• 添加配置验证步骤：在Actions中打印环境变量，确认配置无误：

  - name: Verify MLflow config
    run: |
      echo "MLFLOW_TRACKING_URI: $MLFLOW_TRACKING_URI"
      echo "MLFLOW_TRACKING_USERNAME: $MLFLOW_TRACKING_USERNAME"
  

3. 调整MLflow版本与重试策略 #

• 对齐MLflow版本：确保本地与GitHub Actions使用相同版本的MLflow，版本不兼容可能导致API调用格式不匹配。在requirements.txt中指定固定版本：

  mlflow==2.10.0
  

• 增加重试次数与超时：设置环境变量调整HTTP请求策略，规避网络波动影响：

  env:
    MLFLOW_HTTP_REQUEST_TIMEOUT: 30
    MLFLOW_HTTP_MAX_RETRIES: 5
  

• 手动添加重试逻辑：对关键日志操作添加重试机制：

  import time
  from mlflow.exceptions import MlflowException
  
  def safe_log_model(model, name):
      retries = 3
      for i in range(retries):
          try:
              mlflow.sklearn.log_model(model, name)
              break
          except MlflowException as e:
              if i == retries - 1:
                  raise e
              time.sleep(2)
  

4. 分步调试日志流程 #

• 拆分日志步骤：将日志操作拆分为独立环节，逐步验证：

  # 先测试基础参数记录
  mlflow.log_param("test_param", "value")
  # 确认成功后记录指标
  mlflow.log_metric("accuracy", 0.95)
  # 最后调用重试逻辑记录模型
  safe_log_model(model, "my_model")
  

• 聚焦元数据记录：日志显示模型工件上传成功，问题集中在参数、指标的元数据API调用，重点排查这部分的参数格式。

内容的提问来源于stack exchange，提问作者kynnemall