Airflow 1.9 Worker守护进程无故退出问题求助

我来帮你一步步定位问题，先从最常见的配置和环境问题入手：

1. 先补全并检查你的airflow-worker.service配置 #

从你给出的片段来看，配置文件不完整，先给你一个适配Airflow 1.9+Celery+Redis的标准systemd模板，你可以对照着修正自己的文件：

[Unit]
Description=Airflow celery worker daemon
After=network.target postgresql.service mysql.service redis.service
Wants=postgresql.service mysql.service redis.service

[Service]
# 替换成你实际运行Airflow的用户
User=airflow
Group=airflow
# 必须用虚拟环境内airflow命令的绝对路径，别用全局的！
ExecStart=/你的虚拟环境绝对路径/bin/airflow worker
Type=simple
Restart=always
RestartSec=5
# 明确指定AIRFLOW_HOME环境变量，避免systemd找不到配置
Environment="AIRFLOW_HOME=/home/你的用户目录/airflow"
PrivateTmp=true

[Install]
WantedBy=multi-user.target

重点检查这几个核心点： #

• ExecStart路径：一定要指向虚拟环境内的airflow二进制文件，比如/home/xxx/venv/bin/airflow，用全局airflow会直接绕开你的虚拟环境，大概率出问题
• 依赖服务：你用的是Redis作为消息队列，所以把配置里的rabbitmq-server.service删掉，避免不必要的依赖等待
• 用户权限：运行Worker的用户必须对AIRFLOW_HOME目录（默认是~/airflow）有读写权限，包括日志、pid文件所在的子目录

2. 先手动启动Worker验证基础功能 #

先跳过systemd，直接在虚拟环境里手动启动，确认Worker本身能正常运行：

# 激活虚拟环境
source /你的虚拟环境绝对路径/bin/activate
# 启动Worker
airflow worker

如果手动启动也失败，那问题出在Airflow配置本身：

• 打开$AIRFLOW_HOME/airflow.cfg检查Celery相关配置：
  • broker_url必须是正确的Redis地址，比如redis://localhost:6379/0
  • celery_result_backend也要对应配置Redis地址
• 去$AIRFLOW_HOME/logs/worker目录查看最新日志，找具体错误提示（比如Redis连接失败、依赖包缺失、文件权限不足）

3. 如果手动正常但systemd启动失败，查systemd日志 #

用这两个命令查看systemd的服务状态和详细日志：

# 查看服务当前状态
systemctl status airflow-worker.service

# 实时追踪日志输出
journalctl -u airflow-worker.service -f

常见的systemd层面问题：

• 环境变量缺失：systemd不会加载用户bashrc/zshrc里的变量，所以要在service文件里明确指定AIRFLOW_HOME等必要变量
• 残留PID文件：之前手动启动的Worker可能留下了pid文件，删掉$AIRFLOW_HOME/airflow-worker.pid再重启服务
• 安全模块限制：如果你的系统开启了SELinux/AppArmor，可能阻止Worker访问Redis或文件系统，可以临时关闭测试，或者添加对应权限规则

4. 额外注意（针对Airflow 1.9老版本） #

Airflow 1.9版本比较陈旧，要确保虚拟环境里的依赖版本匹配：

• Celery建议用4.1.x版本，太高的版本会和Airflow 1.9不兼容
• Redis-py版本别太新，用2.10.x左右的版本比较稳妥

内容的提问来源于stack exchange，提问作者CodingInCircles