GKE Autopilot资源日志在Stackdriver中格式异常求助

以下是针对日志格式错误、冗余输出问题的具体排查和解决步骤：

1. 强制容器输出结构化JSON日志 #

Stackdriver仅能自动解析JSON格式的日志为jsonPayload，如果组件输出纯文本（哪怕包含level=info），都会被标记为textPayload。

• 对于node-cache（基于CoreDNS）这类组件，修改其配置文件（如Corefile），添加log json指令开启JSON日志输出，同时可通过errors指令限制日志级别，避免冗余的Corefile打印：

  .:53 {
      log json
      errors
      health
      kubernetes cluster.local in-addr.arpa ip6.arpa {
          pods insecure
          fallthrough in-addr.arpa ip6.arpa
      }
      forward . /etc/resolv.conf
      cache 30
      loop
      reload
      loadbalance
  }
  

• 对于其他自定义组件，检查应用启动参数或配置文件，确保日志输出为标准JSON格式（包含level、message等字段）。

2. 通过Pod注解指定日志解析规则 #

GKE Autopilot默认用Fluent Bit采集日志，可通过Pod注解为特定Pod指定解析器，强制识别JSON日志：

• 在Helm的values.yaml中为目标组件添加Pod注解：

  podAnnotations:
    fluentbit.io/parser: "json"
  

• 如果用Terraform部署Helm release，可在helm_release资源中传入该配置：

  resource "helm_release" "node_cache" {
    name       = "node-cache"
    repository = "https://your-repo-url"
    chart      = "node-cache"
  
    set {
      name  = "podAnnotations.fluentbit.io/parser"
      value = "json"
    }
  }
  

3. 验证GKE集群日志配置 #

检查Terraform中GKE集群的日志相关配置，确保未修改默认规则：

• 执行terraform state show google_container_cluster.your-autopilot-cluster，确认logging_service为logging.googleapis.com/kubernetes，logging_config无异常过滤或修改。
• 若存在自定义logging_config，恢复为默认值后重新部署集群。

4. 用Stackdriver过滤器定位问题根源 #

在Stackdriver日志页面使用过滤器筛选异常日志，比如：

resource.type="k8s_container" AND textPayload:"level=info"

查看日志的metadata字段，若jsonPayload为空，说明采集器未识别到JSON格式，需回到步骤1调整容器输出格式。

5. 排查Helm配置的潜在冲突 #

检查Helm values中是否存在覆盖组件日志配置的参数，比如部分Chart会提供logging.format或logLevel这类选项，确保设置为json和合适的级别（如info而非debug）。

内容的提问来源于stack exchange，提问作者Michael Mallett