Airflow 1.8.0配置S3远程日志失效问题求助

云上老周

2026-5-19

解决Airflow 1.8.0 S3远程日志不生效的问题

针对你遇到的Airflow 1.8.0 S3远程日志失效问题，结合这个版本的特性，我整理了几个优先级最高的排查方向，你可以逐步验证：

1. 先确认所有Airflow服务都重载了配置

Airflow 1.8.0不支持配置热重载，修改airflow.cfg后必须重启调度器、Web服务器和Celery Worker，新配置才会生效。你可以在两台服务器上分别执行对应的重启命令：

重启调度器/Web服务器所在节点：

sudo service airflow-scheduler restart
sudo service airflow-webserver restart

如果是用命令行直接启动的服务，就先终止进程再重新启动（比如pkill -f airflow-scheduler后再执行airflow scheduler）。

虽然你在UI里配置了s3_logging_conn，但要确保两台服务器上的Airflow进程都能正常使用这个连接访问S3：

在两台服务器上都执行命令，检查连接配置是否正确加载：
```
airflow connections get s3_logging_conn
```
输出里的login（对应access key）和password（对应secret key）要和你配置的一致。
用相同的密钥直接测试S3访问：安装awscli后，临时配置凭证并执行：
```
aws configure set aws_access_key_id YOUR_ACCESS_KEY
aws configure set aws_secret_access_key YOUR_SECRET_KEY
aws s3 ls s3://my-bucket/airflow_logs/
# 测试写入权限
echo "test log content" > test.log
aws s3 cp test.log s3://my-bucket/airflow_logs/
```
如果这一步报错，说明是AWS权限或网络问题，要先解决这个（比如检查IAM权限是否允许s3:PutObject、s3:GetObject，或者服务器是否能访问S3的网络）。
确认两台服务器都安装了boto库：Airflow 1.8.0依赖boto来操作S3，执行pip show boto查看是否安装，没装的话执行pip install boto。

除了你已经配置的两个参数，还有几个必须正确设置的项：

remote_logging = True：这个是远程日志功能的开关，必须设为True，检查两台服务器的airflow.cfg里这个值是否正确。
encrypt_s3_logs：如果你的S3桶开启了服务器端加密，需要把这个设为True；如果没开启，设为False即可。
确认remote_base_log_folder的路径格式：你配置的s3://my-bucket/airflow_logs/末尾带斜杠是正确的，确保bucket名称和路径没有拼写错误。

直接看服务日志是定位问题最快的方式，重点找和S3日志相关的错误：

调度器日志：通常在$AIRFLOW_HOME/logs/scheduler目录下，或者系统日志路径（比如/var/log/airflow/scheduler.log）
Celery Worker日志：在$AIRFLOW_HOME/logs/worker或系统日志路径（比如/var/log/airflow/worker.log）
常见错误包括：boto连接超时、S3权限不足、bucket不存在、路径拼写错误等。

手动触发一个极简测试任务，比如创建一个只执行echo "test log"的BashOperator任务，执行完成后：

去S3桶的airflow_logs/<dag_id>/<task_id>/<execution_date>/路径下，看是否生成了1.log文件
在Airflow UI的任务实例日志页面，看是否显示“Loading remote log from S3”之类的提示，如果显示“Remote log not found”，结合服务日志排查原因

有时候Worker节点的环境变量和调度器/Web服务器不一致，导致无法读取正确的配置：

内容的提问来源于stack exchange，提问作者pedrogfp