Airflow K8s部署下Stackdriver远程日志配置问题求助

DevOps 小满

2026-7-24

排查方案

问题1：日志写入_Default桶而非指定的airflow.task桶

纠正REMOTE_BASE_LOG_FOLDER的配置逻辑：
Airflow中stackdriver://<log_name>里的<log_name>是日志的逻辑名称（Log Name），而非GCP日志桶（Log Bucket）的名称。日志桶的存储目标需要通过GCP的日志路由规则配置，而非Airflow直接指定。
操作步骤：
1. 确认GCP中已创建名为airflow.task的日志桶。
2. 在GCP日志控制台创建路由规则：将日志名称匹配airflow.task的日志条目路由到你创建的airflow.task桶中。默认情况下，未匹配路由规则的日志会进入_Default桶。
验证Airflow的GCP连接权限：
确保google_cloud_default连接对应的服务账号拥有logging.logEntries.create权限，且能访问目标日志桶。
添加日志桶指定参数：
Airflow 2.5.1中，可通过额外环境变量直接指定日志桶（注意填写日志桶的ID，而非显示名称，桶ID可在GCP日志桶页面查看）：
```
- name: "AIRFLOW__LOGGING__GCP_LOGGING_BUCKET"
  value: "airflow-task-xxxx" # 替换为你的日志桶ID
```

确保任务Pod继承远程日志配置：
使用KubernetesExecutor时，每个任务运行在独立Pod中，需确保这些Pod同步加载远程日志的环境变量。检查Helm values.yaml的相关配置：
```
workers:
  env:
    - name: "AIRFLOW__LOGGING__REMOTE_LOGGING"
      value: "True"
    - name: "AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER"
      value: "stackdriver://airflow.task"
    - name: "AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID"
      value: "google_cloud_default"
```
若使用动态Pod，需确认kubernetes_executor的pod_template_file中包含上述环境变量，或通过Helm全局env配置传递。

检查日志级别过滤：
确认Airflow未过滤自定义日志的级别，添加环境变量调整：

- name: "AIRFLOW__LOGGING__LOG_LEVEL"
  value: "INFO"
- name: "AIRFLOW__LOGGING__TASK_LOGGER_LEVEL"
  value: "INFO"

验证日志处理器加载状态：
在任务中添加代码，确认airflow.task logger已关联Stackdriver处理器：
```
def print_hello_world(ds):
    import logging
    task_logger = logging.getLogger("airflow.task")
    print(f"Logger handlers: {[h.__class__.__name__ for h in task_logger.handlers]}")
    # 原有日志代码...
```
若输出中没有CloudLoggingHandler，说明远程日志处理器未加载，需检查Pod内的Airflow配置是否生效。
确认print语句的日志捕获：
Airflow默认捕获任务的print输出，但需确保KubernetesExecutor的Pod日志驱动配置正确，Airflow能正常读取Pod的stdout/stderr输出。

内容的提问来源于stack exchange，提问作者Ire00