Airflow 1.9在AWS Kubernetes中无法将日志写入S3求助

我来帮你排查这个棘手的问题——你已经验证了S3的读写权限没问题，但Airflow日志就是不肯往S3存，结合Airflow 1.9在K8s环境的特性，大概率是这几个配置或者运行机制的问题：

1. 确认Airflow核心日志配置是否正确生效 #

Airflow 1.9要启用S3远程日志，必须在airflow.cfg里配置关键参数，别只测试了S3连接却没让Airflow把日志输出到S3：

• 确保[core]段的remote_logging = True
• remote_base_log_folder要设置为你的S3桶路径，比如：remote_base_log_folder = s3://your-airflow-log-bucket/prod/logs/
• remote_log_conn_id要指向你已经测试通过的S3连接ID（比如s3_default）
• 若你自定义了日志配置，需确认logging_config_class指向的配置里包含S3日志处理器，默认可以用：logging_config_class = airflow.utils.log.logging_config.LOGGING_CONFIG

你可以在Worker Pod里执行以下命令快速验证配置：

cat $AIRFLOW_HOME/airflow.cfg | grep -A 15 "\[core\]" | grep -E "remote_logging|remote_base_log_folder|remote_log_conn_id"

2. 检查K8s环境下配置的同步性 #

因为你的Airflow容器不是长期运行（比如是K8s Job形式的Worker），很容易出现配置未同步的问题：

• 确认Worker Pod使用的airflow.cfg是通过ConfigMap挂载的，并且你已经更新了ConfigMap的内容（别只修改了本地文件却没同步到K8s）
• 可以删除旧的Worker Pod，让K8s重新拉取最新的ConfigMap创建新Pod，确保配置生效

3. 排查Worker Pod的权限上下文 #

你在工作节点测试时用的是节点本身的IAM角色，但Airflow Worker Pod可能用的是独立的ServiceAccount/IAM角色：

• 检查Worker Pod绑定的ServiceAccount对应的IAM权限，是否包含S3桶的s3:PutObject、s3:GetObject、s3:ListBucket权限
• 如果你用的是IRSA（IAM Roles for Service Accounts），确认ServiceAccount的注解eks.amazonaws.com/role-arn是否指向正确的IAM角色，且该角色的信任策略允许Pod的OIDC身份访问

4. 验证日志路径与Pod终止时机 #

• 检查S3桶的桶策略，是否拒绝了Worker Pod的IAM角色访问remote_base_log_folder路径
• Airflow 1.9的Worker在任务完成后，K8s Job可能会立即终止Pod，导致日志还没上传到S3就被销毁。可以给Worker的Pod模板增加terminationGracePeriodSeconds: 30（根据实际情况调整时长），给日志上传留足时间

快速验证步骤 #

你可以创建一个简单的测试DAG来定位问题：

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime

default_args = {
    'owner': 'test',
    'start_date': datetime(2024, 1, 1)
}

dag = DAG('test_s3_log', default_args=default_args, schedule_interval=None)

test_task = BashOperator(
    task_id='test_log_upload',
    bash_command='echo "This is a test log message" && sleep 5',
    dag=dag
)

触发这个DAG后，进入Worker Pod查看本地日志（$AIRFLOW_HOME/logs/test_s3_log/test_log_upload/<execution_date>/1.log），同时查看Pod的系统日志，有没有S3相关的报错信息（比如权限拒绝、连接失败）——这些报错会帮你快速锁定问题。

内容的提问来源于stack exchange，提问作者Guido Pepper