Airflow 2.2.2远程Worker日志获取报403 Forbidden求助

环境概述 #

• Airflow版本：2.2.2
• 部署架构：EKS集群运行Web服务器/Scheduler，异地VM通过docker-compose部署Celery Worker
• 执行器：CeleryExecutor，Redis Broker（6379）、PostgreSQL Backend（5432）
• 已验证：网络连通性、Broker/Backend可达性、8793端口通、Flower识别Worker、DAG正常执行、VM本地Web服务可查日志；仅跨节点请求日志接口返回403

可能原因及解决方向 #

1. 认证配置不一致 #

• 检查Web服务器与所有Worker的AIRFLOW__WEBSERVER__SECRET_KEY是否完全一致，该密钥用于会话加密，不一致会导致认证令牌无法解析。
  • 验证命令：在Web服务器和Worker上分别执行 airflow config get-value webserver secret_key，对比输出值
• 确认AIRFLOW__WEBSERVER__WEBSERVER_AUTH_BACKEND配置统一，比如两边都设置为flask_appbuilder.security.manager.AuthDB，避免认证后端不兼容
• 确保Worker端日志服务的认证配置与Web服务器完全同步，docker-compose中Worker的环境变量需覆盖所有相关认证参数

2. Worker日志服务访问控制配置 #

• 检查AIRFLOW__LOGGING__WORKER_LOG_SERVER_ACCESS_CONTROL参数，默认值为deny_all，会拒绝所有外部请求。需设置为allow_all或指定EKS集群IP段的白名单（如allow 192.168.0.0/16;）
  • 配置示例：在Worker的环境变量中添加 AIRFLOW__LOGGING__WORKER_LOG_SERVER_ACCESS_CONTROL="allow_all"
• 确认Worker启动命令未覆盖该配置，比如docker-compose中Worker的command是否包含--worker-log-server-access-control参数，需与环境变量配置保持一致

3. 反向代理/Ingress拦截 #

• 若EKS Web服务器前端有Ingress（如ALB），检查Ingress规则是否对/log/路径做了额外认证限制，比如仅允许集群内部访问，或未传递必要的认证头部
• 远程Worker若配置了反向代理（如Nginx），检查代理是否拦截了请求的认证Cookie/Authorization头部，需确保代理完整转发这些头部到Worker日志服务

4. 请求头部或跨域问题 #

• 用curl测试时，需携带完整的认证Cookie（从Web服务器浏览器的开发者工具中复制真实会话Cookie），示例命令：

  curl -b "session=xxx; airflow-user=xxx" http://<worker-ip>:8793/log/<dag-id>/<task-id>/<execution-date>/1.log
  

• 检查Worker日志服务是否开启CORS限制，若Web服务器与Worker不在同一域，需配置AIRFLOW__WEBSERVER__ENABLE_CORS=true并设置允许的Origin

5. 版本特定Bug #

• Airflow 2.2.2存在远程Worker日志认证的已知问题，建议升级到2.2.x系列的补丁版本（如2.2.5）或2.3+稳定版本，修复相关认证逻辑漏洞

内容的提问来源于stack exchange，提问作者armourshield