SageMaker训练作业指标未在监控面板及CloudWatch显示问题排查

针对你遇到的「CloudWatch已能看到指标，但SageMaker训练作业控制台的「监控」标签页仍无数据」的问题，可以从以下几个方向排查：

• 确认指标命名空间与维度匹配
  SageMaker控制台监控标签页默认读取AWS/SageMaker命名空间下的指标，且要求指标携带TrainingJobName维度（分布式训练还需VariantName）。检查你的指标是否正确上报到该命名空间，且维度准确关联到当前训练作业名称。

• 等待指标同步延迟
  CloudWatch指标上报后，SageMaker控制台的指标展示存在10-15分钟的同步延迟，尤其是刚修复权限后，建议等待一段时间再刷新页面。

• 补充IAM角色的日志读取权限
  SageMaker控制台的监控功能需要读取CloudWatch日志来关联指标，检查NeptuneSageMakerIAMRole是否添加了以下权限：

  {
      "Effect": "Allow",
      "Action": [
          "logs:GetLogEvents",
          "logs:DescribeLogStreams",
          "logs:DescribeLogGroups"
      ],
      "Resource": "arn:aws:logs:<你的区域>:<你的账号ID>:log-group:/aws/sagemaker/TrainingJobs:*"
  }
  

• 检查区域一致性
  确保当前操作的SageMaker控制台区域与训练作业运行的区域完全一致，CloudWatch指标是区域隔离的，跨区域无法在控制台展示。

• 验证自定义指标的日志格式
  即使正则表达式已定义，仍需确认训练日志中的指标输出格式符合SageMaker要求，比如指标数值需为浮点/整数格式（如train_acc=0.92），正则需准确捕获指标名称和对应数值，避免因格式不匹配导致控制台无法解析展示。

内容的提问来源于stack exchange，提问作者Luis Leal