Mac启动Airflow Worker报错：visibility_timeout参数传入create_engine无效

我之前也踩过类似的坑，这个错误本质是参数配置混淆导致的：visibility_timeout是Celery的专属配置项，结果被错误传到了SQLAlchemy的create_engine方法里，而MySQL数据库引擎根本不识别这个参数。下面是具体的排查和解决步骤：

1. 检查Airflow配置文件（airflow.cfg） #

Mac上Airflow的配置文件默认在~/airflow/airflow.cfg，或者你指定的AIRFLOW_HOME目录下。打开后重点核对两个配置段：

• Celery配置段：确保visibility_timeout只出现在[celery]下方，正确写法如下：

  [celery]
  # 这个参数是Celery用来控制任务可见性的，单位秒
  visibility_timeout = 21600
  

• Database配置段：检查[database]下的sql_alchemy_conn和其他参数，绝对不能把visibility_timeout写在这里，也不要附加在数据库连接URL里。比如下面这种写法是错误的，必须删掉visibility_timeout参数：

  # 错误示例！不要这么写
  [database]
  sql_alchemy_conn = mysql://user:pass@host/db?visibility_timeout=21600
  

2. 确认版本兼容性 #

从你的错误日志时间（2018年）来看，应该用的是Airflow 1.x版本。这个版本对SQLAlchemy的版本有严格要求——Airflow 1.10.x通常适配SQLAlchemy 1.3.x，过高的版本会触发参数不兼容问题。可以用以下命令查看当前版本：

pip show apache-airflow sqlalchemy

如果版本不匹配，卸载后重新安装兼容版本，比如：

pip install sqlalchemy==1.3.24 apache-airflow==1.10.15

3. 清理进程并重启Worker #

修改完配置后，先杀掉残留的Worker进程，再重新启动：

# 杀掉所有Airflow Worker进程（谨慎操作，确保没有正在运行的重要任务）
pkill -f "airflow worker"
# 重新启动Worker
airflow worker

额外排查点 #

如果以上步骤没用，检查你是否在自定义DAG或插件里手动调用了create_engine，并错误传入了visibility_timeout参数。比如下面这种代码是错误的，必须移除该参数：

# 错误示例！不要这么写
from sqlalchemy import create_engine
engine = create_engine('mysql://user:pass@host/db', visibility_timeout=21600)

内容的提问来源于stack exchange，提问作者MANISH ZOPE