Airflow(Docker Compose)运行DAG时日志获取失败问题求助

问题原因 #

错误日志显示请求Worker日志的URL缺失主机地址（http://:8793），这是因为Airflow未正确配置Worker的日志服务地址，导致Webserver无法定位到Worker获取日志。

解决步骤 #

1. 修改docker-compose.yml配置
   找到airflow-worker服务块，添加以下环境变量，指定Worker的日志服务主机和端口：

   services:
     airflow-worker:
       environment:
         - AIRFLOW__LOGGING__WORKER_LOG_SERVER_HOST=airflow-worker
         - AIRFLOW__LOGGING__WORKER_LOG_SERVER_PORT=8793
   

   注：airflow-worker是Docker Compose中Worker服务的默认名称，若你自定义了服务名，替换为对应的名称即可。

2. 重启Airflow服务
   执行命令让配置生效：

   docker-compose restart airflow-worker airflow-webserver
   

3. 额外检查项

   • 确认日志目录挂载权限：检查/opt/airflow/logs目录在容器内的读写权限，确保Worker进程能正常生成日志文件
   • 验证Worker状态：用docker-compose ps查看airflow-worker服务是否正常运行，无异常退出情况

内容的提问来源于stack exchange，提问作者moe_