Apache Airflow未读取Gunicorn配置文件？求替代配置方案

嘿，针对你在RedHat机器的virtualenv里运行Airflow webserver时，遇到Gunicorn配置无法通过GUNICORN_CMD_ARGS生效的问题，我结合你使用的Airflow 1.9.0、Gunicorn 19.8.1和Python 2.7.5版本，整理了几个靠谱的解决方案：

方案1：直接在Airflow配置文件中指定Gunicorn参数 #

Airflow 1.9.0本身支持在配置文件里直接传递Gunicorn的启动参数，这样Airflow调用Gunicorn时会自动带上这些参数，完全不用依赖环境变量。具体操作步骤：

• 打开你的Airflow配置文件（默认路径是~/.airflow/airflow.cfg），找到[webserver]段落
• 添加或修改gunicorn_args配置项，直接指向你的Gunicorn配置文件：

  [webserver]
  gunicorn_args = --config=/path/to/gunicorn.py
  

  如果不想用单独的配置文件，也可以直接把TLS相关参数写在这里，比如：

  gunicorn_args = --config=/path/to/gunicorn.py --ssl-version=TLSv1.2 --ciphers=ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256
  

• 保存配置后重启Airflow webserver，这些参数会被Airflow自动传递给Gunicorn，确保生效。

方案2：写个自定义启动脚本提前加载配置 #

既然Airflow是内部调用Gunicorn，我们可以写一个简单的Python脚本，在启动Airflow webserver前先设置好Gunicorn的配置环境，确保Gunicorn能读到：

1. 创建一个start_airflow_webserver.py脚本，内容如下：

   from airflow.bin.cli import webserver
   import os
   import sys
   
   # 手动设置Gunicorn配置文件路径
   os.environ['GUNICORN_CMD_ARGS'] = '--config=/path/to/gunicorn.py'
   
   # 调用Airflow的webserver启动逻辑
   sys.argv = ['airflow', 'webserver']
   webserver()
   

2. 激活你的virtualenv，运行这个脚本：

   source /path/to/your/virtualenv/bin/activate
   python start_airflow_webserver.py
   

   这个脚本会在Airflow调用Gunicorn前就把环境变量设置好，完美绕开环境变量没被读取的问题。

方案3：利用Gunicorn的默认配置文件路径 #

Gunicorn 19.8.1会自动尝试加载几个默认位置的配置文件，你只要把你的配置文件放到这些位置，Gunicorn被Airflow调用时会自动读取：

• 当前工作目录下的gunicorn.conf.py
• 用户主目录下的~/.gunicorn.conf.py
• 系统级的/etc/gunicorn.conf.py

把你的gunicorn.py重命名为gunicorn.conf.py，放到上述任意一个位置（比如你启动Airflow的工作目录）就行。另外，记得在配置文件里明确写好TLS相关配置，比如：

import ssl

# 指定TLS版本
ssl_version = ssl.PROTOCOL_TLSv1_2
# 指定加密套件
ciphers = 'ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256'
# 其他Gunicorn配置，比如绑定地址、worker数量等
bind = '0.0.0.0:8080'
workers = 4

最后，你可以用ps aux | grep gunicorn命令查看Gunicorn的进程参数，确认配置是否生效，比如有没有加载指定的配置文件，或者TLS相关参数是否已经带上。

内容的提问来源于stack exchange，提问作者DarkyTheOdd