GCP Logging控制台不显示部分GKE容器输出日志的问题咨询

问题根因分析 #

你遇到的GKE 1.20.8-gke.900版本部分结构化日志无法上报到Cloud Logging的问题，核心是以下两类常见原因：

1. 嵌套数组解析兼容问题：1.20.x版本GKE默认使用的Fluent Bit采集代理存在已知bug，无法正确解析多层嵌套数组（你无法上报的日志中args字段为[["aaa","bbb","ccc","ddd"]]二维数组，正常上报的日志无这类多层嵌套结构），解析失败的日志会被直接丢弃。
2. 字段类型冲突：如果同一容器的历史日志中，同名字段出现过不同数据类型，Cloud Logging会拒绝写入类型不匹配的新日志，例如如果之前args字段是一维数组或字符串，后续出现二维数组的同键名日志就会被拦截。

排查步骤 #

• 查看采集代理的运行日志，确认是否有解析报错：执行命令kubectl logs -n kube-system -l k8s-app=fluentbit-gke，搜索关键词parse error、invalid payload、dropped，可直接定位解析失败的具体原因。
• 验证日志单行完整性：确认应用输出的JSON日志为严格单行结构，字段内容中的换行符必须做转义处理，未转义的换行符会导致JSON解析失败，被代理判定为非结构化日志，你可以在Cloud Logging控制台通过筛选非结构化日志检索是否有对应记录。
• 字段类型一致性校验：检查该容器所有日志的同名字段类型是否统一，比如args、time等字段是否出现过类型变更。

解决方案 #

• 方案1：将GKE集群升级到1.21及以上正式版本，对应版本的Fluent Bit代理已经修复了多层嵌套数组的解析兼容问题。
• 方案2：调整应用日志输出逻辑，将多层嵌套结构的字段（比如args）序列化为JSON字符串后输出，避免复杂嵌套导致的解析失败。
• 方案3：如果是字段类型冲突问题，统一所有日志的同键名字段类型，或者修改采集规则，指定对应字段的强制转换类型。

内容的提问来源于stack exchange，提问作者Viktor Kurchenko