Azure ML实验对比视图指标显示受限问题咨询

我在Azure Machine Learning（Azure ML）中开展实验，为12个不同的机器学习模型记录指标，每个模型包含680个指标——这是因为我用的是拥有150余个类别的多分类模型，每个类别对应precision、recall、f1-score和support值。

我用以下方式记录指标：

# Logging metrics using mlflow
mlflow.log_metric(f'{metric_name}', metric_value)

这些指标在单个运行的「运行详情」标签页中能全部查看，但切换到实验层级进行模型对比时，最多只能查看250个跨运行指标。我怀疑这是Azure ML的限制，但不确定是服务本身问题、配置问题，还是Azure ML或MLflow在实验层级显示指标的已知限制。

已尝试的操作：

• 验证所有指标在运行详情中已正确记录；
• 确认mlflow.log_metric()调用中包含所有指标；
• 查阅Azure ML文档与配置设置，未找到指标限制相关说明。

咨询问题：

1. Azure ML实验对比视图是否存在指标显示数量的已知限制？
2. 是否有配置修改或变通方法可突破此限制？
3. 针对大量指标，是否应考虑使用其他记录方式？

1. Azure ML实验对比视图的指标显示限制 #

是的，Azure ML实验对比视图确实存在250个指标的显示上限，这是服务层面的默认限制，并非配置问题或MLflow本身的限制。该限制是为了保证对比视图的加载性能和交互流畅性，避免大量指标导致界面卡顿。

2. 突破限制的变通方法 #

目前没有直接修改配置突破250指标上限的方法，但可以通过以下方案实现跨模型指标对比：

• 筛选核心聚合指标：只将全局聚合类指标（如macro/micro平均的precision、recall、f1-score）记录到MLflow用于界面对比，把每个类别的详细指标整理成CSV/JSON文件，上传到Azure ML运行的artifacts中。需要查看类别级指标时，直接从artifacts下载文件查看。
• 自定义对比脚本：用Azure ML Python SDK或MLflow API批量获取所有运行的指标数据，再通过Pandas、Matplotlib等工具编写自定义对比分析脚本，生成可视化报表。示例代码片段：

  from azureml.core import Experiment, Workspace
  import pandas as pd
  
  ws = Workspace.from_config()
  exp = Experiment(ws, name="your-experiment-name")
  runs = list(exp.get_runs())
  
  # 收集所有运行的指标数据
  metrics_data = []
  for run in runs:
      metrics = run.get_metrics()
      metrics["run_id"] = run.id
      metrics_data.append(metrics)
  
  # 转换为DataFrame进行自定义分析
  df = pd.DataFrame(metrics_data)
  # 编写你的对比逻辑，比如筛选特定类别指标、绘制对比图表等
  

• 分组记录指标：如果需要在Azure ML界面查看部分类别指标，可以把类别分组（比如每50个类别一组），在不同的子运行或子实验中分别记录，再分组进行对比。

3. 大量指标的替代记录方式 #

针对多分类模型的海量类别级指标，更高效的记录方式包括：

• 保存为运行artifacts：将所有类别级指标整理成结构化文件（CSV、Parquet、JSON），用mlflow.log_artifact()或Azure ML SDK的run.upload_file()上传到运行的artifacts中。这种方式存储更高效，也方便后续下载分析。
• 使用MLflow日志表：MLflow 2.3及以上版本支持mlflow.log_table()，可以将类别级指标以表格形式批量记录，相比单个log_metric调用更简洁，且在Azure ML和MLflow UI中都能直接查看表格数据。
• 添加到模型注册表元数据：在注册模型时，将类别级指标作为模型的元数据添加进去，后续可以通过模型注册表查询、对比不同模型的详细指标。

内容的提问来源于stack exchange，提问作者Nikaido