GKE使用托管Fluentd向Stackdriver输出含级别与消息的最简JSON日志问题

我之前也碰到过完全一样的坑！核心问题在于GKE的托管Fluentd有一套默认的日志解析规则，只有当你的JSON日志包含特定字段时，Stackdriver才会正确识别日志级别，否则就会默认把所有日志归为INFO级别。

问题根源 #

托管Fluentd默认会检查JSON日志中的severity字段（必须是全小写），用这个字段的值来设置Stackdriver的日志级别。如果你的日志里用了其他字段名（比如level、log_level），或者根本没这个字段，Fluentd就会统一按INFO级别上传。

最简解决方案 #

直接调整你的应用日志输出格式，确保每条单行JSON日志都包含severity字段，并且字段值使用Stackdriver支持的标准级别：DEBUG、INFO、WARNING、ERROR、CRITICAL（大小写敏感，建议用全大写）。同时把核心日志内容放在message字段里（这也是Fluentd默认识别的消息字段，你还可以额外添加自定义元数据字段）。

正确的日志格式示例

{"severity": "ERROR", "message": "数据库连接超时", "request_id": "xyz-789", "timestamp": "2024-05-20T14:30:00Z"}

错误格式示例（会被识别为INFO）

{"level": "error", "msg": "数据库连接超时"}

快速验证方法 #

在容器里直接输出一条符合格式的日志，测试是否生效：

echo '{"severity": "WARNING", "message": "磁盘剩余空间不足10%"}' > /dev/stdout

之后去Stackdriver Logging控制台筛选你的容器日志，就能看到这条日志的级别已经是WARNING了。

常见避坑点 #

1. 字段名大小写错误：比如写成Severity或者SEVERITY，Fluentd完全不会识别，必须是小写的severity。
2. 级别值不标准：比如用warn代替WARNING，虽然Stackdriver可能会尝试模糊映射，但为了避免解析异常，最好严格使用官方标准值。
3. JSON格式不严格：如果日志不是完整的单行JSON（比如有换行、语法错误），Fluentd会把它当成普通文本日志，级别默认是INFO。

特殊场景处理（无法修改应用日志时） #

如果你的应用已经固定了日志字段名（比如用level），又不想改代码，可以考虑用Sidecar容器来转换日志格式——比如用简单脚本或工具，把level字段映射成severity字段后再输出到stdout。不过这会增加部署复杂度，所以还是优先修改应用日志格式最省心。

内容的提问来源于stack exchange，提问作者Iso J