GCP Stack Driver自定义指标创建问题：过滤器有结果但数据未拉取

我之前在GCP Cloud Monitoring（就是以前的Stack Driver）里创建自定义指标时，也踩过完全一样的坑——明明过滤器能查到结果，但自定义指标就是没数据！折腾了好几天才摸清楚几个关键排查点，给你一步步捋：

• 首先得确保你用的过滤器返回的是时间序列数据，不是普通的日志条目或者其他非时序数据。比如如果是从日志转指标，日志里必须包含可解析的数值字段，而且创建指标时得把这个字段正确映射到指标值，不能乱选。
• 检查指标类型是否匹配：要是选了计数器（Counter），那数据得是单调递增的数值；如果是量规（Gauge），可以是任意数值类型。类型选错了，数据根本没法正常 ingest。

• Cloud Monitoring的自定义指标通常有1-5分钟的延迟，刚创建完别着急刷新页面，等个10分钟再看数据有没有进来。
• 确认操作账号或者数据上报的服务账号权限足够：
  • 从日志创建指标的话，需要logging.viewer和monitoring.metricDescriptors.create权限；
  • 通过API上报数据的话，服务账号得有monitoring.metricsWriter权限。
• 查一下配额限制：去GCP控制台的IAM与Admin->配额页面，搜“自定义指标”相关的配额，看看是不是被打满了导致数据无法上报。

• 如果是基于日志创建自定义指标，一定要在「转换规则」里准确配置提取字段：

  比如日志里有"request_count": 10这样的字段，就得用JSONPath或者正则表达式精准提取这个数值，语法错一点都不行。

• 测试过滤器的时候，要确认返回的日志条目确实包含你要提取的数值字段，而且字段类型是数字（不是字符串）。如果是字符串类型的数值，得先转成数字才能作为指标值。
• 要是基于现有指标创建聚合自定义指标，得检查聚合方式是否合理：比如对计数器用MEAN聚合，结果可能完全不符合预期；要是原始指标本身就没数据，聚合后的指标自然也空着。

• 自定义指标的标签不能有特殊字符，比如除了下划线之外的符号、空格，否则会导致数据无法正常存储。
• 如果设置了维度分组，要确保分组的标签在原始数据里存在，不然会直接过滤掉所有数据。

• 用gcloud命令行工具先查指标描述是否正确：

  gcloud monitoring metrics describe custom.googleapis.com/your_metric_name
  

• 再直接查询时间序列数据：

  gcloud monitoring time-series list --filter='metric.type="custom.googleapis.com/your_metric_name"' --interval="start-time=2024-01-01T00:00:00Z,end-time=2024-01-01T01:00:00Z"
  

  如果这里能返回数据，那就是控制台显示的问题；如果没有返回，那就是数据确实没上报进来，得回头查上报链路。

内容的提问来源于stack exchange，提问作者hepzi