Cloud Composer环境Airflow DAG的PythonOperator报Negsignal.SIGKILL错误求助

Negsignal.SIGKILL错误是系统主动终止进程的信号，在Cloud Composer环境中90%以上由节点内存不足触发OOM Killer导致，结合你本地运行正常、仅最大体积的长耗时任务失败的特征，按以下优先级处理：

1. 优先排查节点OOM问题 #

• 登录GCP Cloud Composer监控面板，查看对应任务运行时段的Worker节点内存使用率指标，确认是否存在内存占满的情况。如果确认OOM，首先升级Worker节点的机器规格，选择更高内存配置的机型（例如从n1-standard-2升级到n1-highmem-4），同时降低单Worker的并发任务数，避免多个任务同时运行抢占内存。
• 检查你的fetch_wd_load_bq同步逻辑，确认是否是一次性把Workday返回的全量报告数据加载到内存再写入BigQuery，大体积数据下这种逻辑会占用数倍于数据本身的内存。建议修改为分批拉取、分批写入的流式逻辑，避免全量数据驻留内存。

2. 校验环境超时配置 #

• 你虽然给任务设置了execution_timeout=timedelta(minutes=60)，但还要确认Composer全局配置中以下参数是否大于任务实际运行时长：
  • worker_request_timeout：Celery Worker接收任务的超时时间
  • worker_process_refresh_interval：Worker进程自动回收的间隔时间
    如果上述参数小于15分钟，会导致进程被主动回收触发SIGKILL。

3. 资源隔离替代方案 #

如果调整集群配置成本较高，可以将这个长耗时任务从PythonOperator替换为KubernetesPodOperator，给该任务单独分配独立的Pod资源，和其他节点任务完全隔离，可单独配置更高的内存上限，避免资源抢占。

内容的提问来源于stack exchange，提问作者saurabh saraff