多Airflow安装冲突致端口占用，是否需移除或关闭其中一个？

问题描述 #

我服务器上有两个Airflow安装，可能引发冲突。已经重启了airflow-webserver和airflow-scheduler，但运行airflow scheduler时提示：

Connection in use: ('0.0.0.0', 8793)

两个安装的配置信息如下：

• 主安装（配置文件路径/home/airflow/airflow/airflow.cfg）：
  • dags_folder = /var/foo/dags
  • endpoint_url = http://localhost:8080
  • web_server_host = 0.0.0.0
  • web_server_port = 8080
  • base_url = http://airflow.foo.lan:8080
• 另一个安装（配置文件路径/home/dev/airflow/airflow.cfg）：
  • dags_folder = /home/dev/airflow/dags
  • endpoint_url = http://localhost:8080
  • web_server_host = 0.0.0.0
  • web_server_port = 8080
  • base_url = http://localhost:8080

请问是否需要移除或关闭其中一个Airflow安装？

解决方案 #

1. 先定位端口占用进程 #

8793是Airflow调度器默认的内部通信端口，先找出哪个进程在占用它：

# 用lsof查看
sudo lsof -i :8793
# 或用ss命令
sudo ss -tulpn | grep 8793

通过返回的PID，可进一步确认该进程属于哪个Airflow实例（查看进程工作目录或环境变量）。

2. 根据需求选择处理方式 #

情况一：需要保留两个实例（如生产/开发环境分离）

不需要移除，但必须完全隔离两个实例的资源：

• 用AIRFLOW_HOME区分配置：启动每个实例时明确指定对应的配置目录，避免混淆：
  启动主实例调度器：

  export AIRFLOW_HOME=/home/airflow/airflow && airflow scheduler
  

  启动开发实例调度器：

  export AIRFLOW_HOME=/home/dev/airflow && airflow scheduler
  

• 修改端口避免冲突：在各自的airflow.cfg中修改以下参数，确保两个实例端口完全不重复：
  • scheduler_port：将其中一个实例的默认8793改为8794等其他未占用端口
  • web_server_port：当前两个实例都用8080，必须改成不同值（如主实例8080，开发实例8081）
• 隔离元数据库：确保两个实例的sql_alchemy_conn配置指向不同的数据库，禁止共用，否则会导致DAG调度混乱、任务状态冲突。

情况二：其中一个实例为废弃/无用

直接移除或停止该实例：

• 终止对应进程：

  sudo kill $(sudo lsof -t -i :8793)
  

  若用systemd管理服务，可执行：sudo systemctl stop airflow-scheduler@dev（根据实例名称调整）
• 清理安装目录（确认不再使用后）：

  rm -rf /home/dev/airflow
  

• 移除对应的systemd服务配置（如果存在）。

3. 临时解决当前端口冲突 #

若需临时启动目标实例的调度器，可先杀掉占用端口的进程，再指定正确的AIRFLOW_HOME启动：

sudo kill $(sudo lsof -t -i :8793)
export AIRFLOW_HOME=/home/airflow/airflow && airflow scheduler start

关键注意事项 #

• 同一服务器上的多Airflow实例必须完全隔离端口、元数据库、DAG目录，否则必然出现调度混乱、端口冲突等问题。
• 始终通过AIRFLOW_HOME环境变量明确指定启动时使用的配置目录，避免因默认配置路径导致的实例混淆。

内容的提问来源于stack exchange，提问作者obautista