如何通过YAML配置将GCP日志的jsonPayload解析为Loki标签？

可以通过Promtail（Loki官方采集端）的YAML pipeline配置实现自动解析jsonPayload所有字段为标签，无需硬编码每个字段名。

针对GCP日志通过Pub/Sub导出到Promtail的典型场景，配置参考如下：

scrape_configs:
  - job_name: 'gcp-pubsub-log'
    pubsub:
      project_id: 替换为你的GCP项目ID
      subscription: 替换为你的GCP日志导出订阅名
      labels:
        job: "gcp-logs"
    pipeline_stages:
      # 提取原始日志中的jsonPayload字段作为解析源
      - json:
          expressions:
            json_payload: jsonPayload
      # 自动解析jsonPayload下所有顶级字段，不指定expressions参数默认全量解析
      - json:
          source: json_payload
      # 将所有解析出的字段批量转为Loki标签，无需逐个声明字段名
      - label_fields: {}
      # 可选配置：仅保留特定前缀的字段作为标签，避免标签基数过高
      # - label_fields:
      #     include: ["service_*", "user_*", "level"]
      # 可选配置：排除敏感/无用字段
      # - label_fields:
      #     exclude: ["debug_*", "private_*"]

• 标签基数风险：全量自动提取所有字段作为标签会大幅提升标签基数，可能触发Loki的基数限制，导致存储、查询性能下降，建议优先配置include/exclude参数过滤仅需要的字段
• 上述配置默认仅解析jsonPayload的顶级字段，如需解析嵌套字段，可额外添加unroll_json stage调整解析逻辑
• 如果你使用Fluentd、Fluent Bit等其他采集组件转发日志到Loki，也可以在对应组件的YAML配置中开启自动JSON解析并映射为Loki标签，逻辑类似

内容的提问来源于stack exchange，提问作者user3531263er