Airflow 1.9配置日志写入S3无效，日志仅留存本地求助

我之前也踩过Airflow 1.9日志同步S3失效的坑，结合官方文档和实际排查经验，给你梳理几个关键检查点：

1. 确认airflow.cfg核心配置完整且正确 #

你提到已经修改了配置文件，务必确保以下关键参数都设置到位，不要遗漏：

[core]
# 必须开启远程日志
remote_logging = True
# 对应你在Airflow UI中创建的S3连接ID
remote_log_conn_id = MyS3Conn
# 本地日志存储路径（保持原有配置即可）
base_log_folder = /path/to/airflow/logs
# S3桶的日志根路径，格式要正确：s3://桶名/日志前缀
remote_base_log_folder = s3://your-bucket-name/airflow-logs
# 不需要加密日志的话设为False，需要则配置KMS密钥
encrypt_s3_logs = False

特别注意：remote_log_conn_id对应的连接必须是Airflow UI中创建的Amazon Web Services类型连接，且该连接使用的IAM用户/角色必须拥有S3的PutObject、GetObject、ListBucket权限。

2. 验证S3连接的有效性 #

光配置还不够，得实际测试连接是否能正常读写S3：

• 先用命令行查看连接详情：

  airflow connections get MyS3Conn
  

• 再写个简单的测试脚本验证读写：

  from airflow.hooks.S3_hook import S3Hook
  
  # 替换成你的连接ID
  hook = S3Hook(aws_conn_id='MyS3Conn')
  # 测试上传内容到S3
  hook.load_string('test log content', 'airflow-logs/test-log.txt')
  # 测试下载内容
  content = hook.read_key('airflow-logs/test-log.txt')
  print(content)
  

如果测试失败，说明连接的密钥、权限或者桶名有问题，先把这个问题解决。

3. 务必重启所有Airflow服务 #

修改airflow.cfg后，必须重启Airflow的webserver、scheduler和worker（如果用CeleryExecutor），否则新配置不会生效。很多人就是忘了这一步，导致配置白改。

4. 检查日志处理器配置（Airflow 1.9专属注意点） #

Airflow 1.9的日志系统依赖内置的处理器，如果你自定义了logging_config_class参数，要确保配置中包含S3日志处理器：

# 示例自定义日志配置中的S3处理器部分
'handlers': {
    's3.task': {
        'class': 'airflow.utils.log.s3_task_handler.S3TaskHandler',
        'formatter': 'airflow.task',
        'base_log_folder': os.path.expandvars('${AIRFLOW_HOME}/logs'),
        's3_log_folder': 's3://your-bucket-name/airflow-logs',
        'filename_template': '{{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log',
    },
},
'loggers': {
    'airflow.task': {
        'handlers': ['s3.task', 'console'],
        'level': 'INFO',
        'propagate': False,
    },
}

如果没自定义日志配置，保持默认的logging_config_class = airflow.config_templates.airflow_local_settings.DEFAULT_LOGGING_CONFIG即可。

5. 检查S3桶的路径和权限 #

• 确认remote_base_log_folder的格式没有错误，比如不要多写斜杠（比如s3://bucket//logs这种错误格式）；
• 检查S3桶的桶策略，确保Airflow使用的IAM实体有权限写入：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Principal": {
                  "AWS": "arn:aws:iam::你的账号ID:user/airflow-user"
              },
              "Action": ["s3:PutObject", "s3:GetObject", "s3:ListBucket"],
              "Resource": [
                  "arn:aws:s3:::your-bucket-name",
                  "arn:aws:s3:::your-bucket-name/*"
              ]
          }
      ]
  }
  

6. 查看Airflow自身的错误日志 #

如果以上都没问题，去看Airflow服务的日志（比如${AIRFLOW_HOME}/logs/scheduler或${AIRFLOW_HOME}/logs/webserver目录下的日志），里面会有S3同步失败的具体错误信息，比如权限拒绝、连接超时等，根据错误提示针对性解决。

内容的提问来源于stack exchange，提问作者BelowZero