K8s部署Airflow 2.6.3时Web Server的Gunicorn Worker异常退出问题

环境详情 #

• Airflow版本：2.6.3
• Airflow Chart版本：8.8.0
• Executor类型：KubernetesExecutor
• 使用镜像：apache/airflow:2.6.3-python3.10
• Chart仓库：airflow-helm/charts

问题现象 #

在Kubernetes环境部署Airflow 2.6.3时，Web Server Pod反复重启，Gunicorn Worker收到signal:15（SIGTERM）后退出。Scheduler、数据库迁移及用户同步Pod运行正常，仅修改了Executor为KubernetesExecutor及数据库配置，同环境下Airflow 2.2.3可正常运行。

错误日志 #

[2023-09-13 10:48:36 +0000] [46] [INFO] Listening at: https://0.0.0.0:8080 (46)
[2023-09-13 10:48:36 +0000] [46] [INFO] Using worker: sync
[2023-09-13 10:48:36 +0000] [154] [INFO] Booting worker with pid: 154
[2023-09-13 10:48:36 +0000] [155] [INFO] Booting worker with pid: 155
[2023-09-13 10:48:36 +0000] [156] [INFO] Booting worker with pid: 156
[2023-09-13 10:48:36 +0000] [157] [INFO] Booting worker with pid: 157
[2023-09-13 10:49:04 +0000] [157] [INFO] Worker exiting (pid: 157)
[2023-09-13 10:49:04 +0000] [155] [INFO] Worker exiting (pid: 155)
[2023-09-13 10:49:04 +0000] [156] [INFO] Worker exiting (pid: 156)
[2023-09-13 10:49:04 +0000] [154] [INFO] Worker exiting (pid: 154)
[2023-09-13 10:49:04 +0000] [46] [INFO] Handling signal: term
  ____________       _____________
 ____    |__( )_________  __/__  /________      __
____  /| |_  /__  ___/_  /_ __  /_  __ \_ | /| / /
___  ___ |  / _  /   _  __/ _  / / /_/ /_ |/ |/ /
 _/_/  |_/_/  /_/    /_/    /_/  \____/____/|__/
Running the Gunicorn Server with:
Workers: 4 sync
Host: 0.0.0.0:8080
Timeout: 120
Logfiles: - -
Access Logformat: 
=================================================================
[2023-09-13T10:49:04.697+0000] {webserver_command.py:432} INFO - Received signal: 15. Closing gunicorn.
[2023-09-13 10:49:07 +0000] [46] [INFO] Shutting down: Master

可能的原因分析 #

• 健康检查配置不合理：Kubernetes对Web Server的存活/就绪检查路径、超时时间设置不当，导致Pod被判定为不健康，触发SIGTERM终止进程后重启。Airflow 2.6.3的Web Server健康检查逻辑可能与2.2.3存在差异，默认检查参数不匹配当前环境。
• 资源限制不足：Web Server Pod的CPU/内存配额设置过低，Gunicorn Worker启动后资源耗尽，触发Kubernetes的资源回收机制或OOMKiller，发送SIGTERM终止进程。Airflow 2.6.3的Web Server资源需求可能高于2.2.3版本。
• Gunicorn参数冲突：Chart中Web Server的Gunicorn配置（如worker数量、超时时间）与Airflow 2.6.3的默认值不兼容，引发Worker进程异常退出。例如worker数量超过Pod资源承载上限，或者超时时间设置不合理导致进程被终止。
• KubernetesExecutor权限缺失：Web Server需要额外的Kubernetes API权限与Executor交互，权限不足导致初始化失败，触发进程退出。Airflow 2.6.3对KubernetesExecutor的权限要求可能比2.2.3更严格。
• 数据库连接隐性问题：虽然数据库迁移正常，但Web Server在建立数据库连接时存在超时、权限不足等隐性问题，导致初始化失败后被终止。例如数据库连接池参数不匹配Airflow 2.6.3的要求。
• Chart版本兼容性问题：使用的Chart版本8.8.0与Airflow 2.6.3存在兼容性冲突，默认配置（如Web Server启动命令、生命周期钩子）导致Pod反复重启。

内容的提问来源于stack exchange，提问作者Indrajeet singh thakur