Airflow webserver无法访问Celery远程worker运行日志如何排查配置？

该报错是Celery Executor模式下的典型日志拉取失败问题，核心原因如下：

• Airflow Celery Worker默认会启动独立的日志服务进程（默认端口8793），任务运行完成后webserver会优先从本地路径读取日志，本地不存在时就会向对应Worker的日志服务发起请求拉取日志
• 你当前场景中Worker向集群注册时上报的hostname为localhost.localdomain，webserver容器无法将该地址解析为Worker所在的真实可访问IP，因此出现连接拒绝报错
• 你之前配置的hostname_callable未生效的核心原因是该配置需要在所有Celery Worker节点上配置生效，而不是仅在webserver节点配置，Worker上报自身hostname时才会调用该方法获取对外可访问的IP；如果使用官方Docker镜像，环境变量配置优先级高于airflow.cfg，仅修改配置文件也会导致配置不生效

方案1：修正Worker注册配置（推荐临时排查使用） #

• 所有节点（webserver、scheduler、Celery Worker）统一配置如下参数，可通过环境变量注入确保生效：

  [core]
  hostname_callable = airflow.utils.net.get_host_ip_address
  [celery]
  worker_precheck = False
  # 如需固定Worker对外暴露的地址，可直接指定宿主机可访问的IP，无需自动获取
  # worker_hostname = <Worker所在宿主机的实际IP>
  

• 启动Celery Worker容器时，必须将日志服务端口映射到宿主机，同一台宿主机运行多个Worker时需分配不同端口：

  # 单Worker节点启动示例
  docker run -d \
    -p 8793:8793 \
    -e AIRFLOW__CORE__HOSTNAME_CALLABLE=airflow.utils.net.get_host_ip_address \
    -e AIRFLOW__CELERY__WORKER_LOG_SERVER_PORT=8793 \
    <你的Airflow镜像名> celery worker
  

• 完成配置后进入webserver容器，执行如下命令验证连通性，确保可以正常获取日志内容：

  curl http://<Worker的实际IP>:8793/log/spark-submit/transform/2021-08-07T04:21:58.646836+00:00/1.log
  

方案2：配置共享日志存储（推荐生产环境使用） #

直接规避跨节点拉取日志的问题，所有节点（webserver、scheduler、所有Celery Worker）将日志目录挂载到同一共享存储（如NFS、公有云NAS、本地共享目录等），webserver可直接读取本地挂载路径的日志文件，无需请求Worker的日志服务：

# 所有节点启动时增加挂载参数，<共享存储本地路径>替换为实际的共享目录路径
docker run -d \
  -v <共享存储本地路径>:/usr/local/airflow/airflow/logs \
  <其他启动参数> \
  <你的Airflow镜像名> <启动命令>

内容的提问来源于stack exchange，提问作者Christie Chen