GKE中Airflow Worker Pod日志Severity误标为Error问题求助

可能原因及解决步骤 #

1. 日志输出流混淆（stdout/stderr）

GKE默认会将容器stderr输出的所有日志标记为Error级别。如果Airflow Worker把非错误日志（如INFO）也输出到了stderr，就会导致误判。

解决配置：
在Airflow Helm Chart的values.yaml中添加环境变量，指定日志流的级别映射：

workers:
  env:
    - name: AIRFLOW__LOGGING__STDOUT_LOG_LEVEL
      value: "INFO"
    - name: AIRFLOW__LOGGING__STDERR_LOG_LEVEL
      value: "ERROR"

这样INFO及以下级别的日志会输出到stdout（被标记为对应级别），仅真正的错误日志会输出到stderr。

2. 日志格式未适配GKE解析规则

GKE的Cloud Logging优先识别JSON格式日志中的severity字段，如果Airflow输出的是纯文本日志，可能会因为前缀或格式问题被误判。

解决配置：
修改Airflow使用JSON格式输出日志，明确指定severity字段：

workers:
  env:
    - name: AIRFLOW__LOGGING__FORMATTER_JSON
      value: |
        {
          "timestamp": "%(asctime)s",
          "severity": "%(levelname)s",
          "message": "%(message)s",
          "dag_id": "%(dag_id)s",
          "task_id": "%(task_id)s"
        }
    - name: AIRFLOW__LOGGING__HANDLER_CONSOLE
      value: "airflow.utils.log.json_formatter.JsonFormatter"
    - name: AIRFLOW__LOGGING__LOGGING_LEVEL
      value: "INFO"

部署后，Cloud Logging会自动识别JSON中的severity字段，正确标记日志级别。

3. 日志收集器的自定义解析规则

如果使用了自定义的fluentd/fluentbit配置收集日志，检查是否有规则将Airflow Worker的所有日志强制标记为Error。例如某些自定义过滤器可能会误判非标准格式的文本日志。

解决方式：

• 恢复GKE默认的日志收集配置，或调整自定义规则，添加对Airflow日志前缀（如[INFO]）的正确级别映射。

验证步骤 #

1. 应用修改后的Helm配置：

helm upgrade airflow apache-airflow/airflow -f your-values.yaml

2. 运行测试DAG，查看Cloud Logging中的日志级别是否与实际日志内容匹配。

内容的提问来源于stack exchange，提问作者Ire00