Airflow执行PapermillOperator时停滞，Celery命令执行失败求助

针对你在OpenShift上运行Airflow 2.3.3时，PapermillOperator任务卡住且报错AirflowException : "Celery command failed on host <airflow-worker id>"的问题，可尝试以下排查步骤：

1. 检查Worker Pod资源限制 #

OpenShift默认的Pod资源配额可能不足以支撑Notebook运行：

• 查看airflow-worker Pod的资源请求/限制配置，建议将内存请求调整至1Gi以上，CPU请求调整至0.5核以上
• 若Pod存在OOMKilled记录，直接提升内存上限

2. 验证Jupyter内核配置 #

确保ipykernel正确注册且可被papermill调用：

• 在worker Pod内执行命令：jupyter kernelspec list，确认存在python3或对应版本的内核
• 若内核缺失，执行python -m ipykernel install --user手动注册
• 检查待执行的Notebook文件中指定的内核名称，需与上述命令输出的内核名称完全匹配

3. 排查权限与路径问题 #

OpenShift的受限Service Account可能导致papermill无法访问资源：

• 确认Notebook输入文件所在的存储卷已正确挂载至worker Pod，且Pod对该路径拥有读权限
• 在worker Pod内执行which papermill，确认命令存在于系统PATH中
• 手动在Pod内执行papermill测试命令：papermill /path/to/input.ipynb /path/to/output.ipynb，直接排查具体执行报错

4. 调整Celery任务超时配置 #

Airflow默认的Celery任务超时可能过短，导致Notebook未执行完就被终止：

• 修改airflow.cfg中的以下参数：

  celeryd_task_time_limit = 3600
  celeryd_task_soft_time_limit = 3000
  

• 重启airflow-worker Pod使配置生效

5. 获取详细日志定位根因 #

仅依赖Celery失败报错无法定位具体问题，需补充日志：

• 在OpenShift控制台查看airflow-worker Pod的完整日志，过滤papermill或ipykernel相关输出
• 临时将Airflow日志级别调整为DEBUG（修改airflow.cfg中logging_level = DEBUG），重新触发任务后查看更详细的执行日志

内容的提问来源于stack exchange，提问作者David Belhamou