Airflow任务触发Dataflow遇Negsignal.SIGKILL，poll_sleep设置无效求助

问题核心分析 #

你设置dataflow_config里的poll_sleep=60无效的原因很明确：在Airflow 2.5.3版本中，BeamRunJavaPipelineOperator的轮询间隔参数poll_sleep是Operator的直接参数，而非DataflowConfiguration的配置项。你把参数放错了位置，所以系统依然使用默认的1秒轮询间隔。

另外，任务返回Negsignal.SIGKILL是因为工作节点资源耗尽被强制终止，高频轮询会额外消耗Airflow工作节点的资源，可能加剧这个问题。

解决方法 #

1. 修正轮询间隔参数位置 #

将poll_sleep=60从dataflow_config中移出，作为BeamRunJavaPipelineOperator的直接参数传入，修改后的代码如下：

trigger_dataflow = BeamRunJavaPipelineOperator(
            task_id=f"template_task_id",
            dag=dag,
            task_concurrency=1,
            depends_on_past=True,
            runner="DataflowRunner",
            jar=jar_path,
            job_class=jar_class,
            # 正确设置轮询间隔的位置
            poll_sleep=60,
            pipeline_options={
                'task': 'template_task',
                'sql': "template_sql",
                'bigtableInstanceId': bt_instance_id,
                **({"network": dataflow_network} if dataflow_network is not None else {}),
                **({"subnetwork": dataflow_subnetwork} if dataflow_subnetwork is not None else {}),
            },
            dataflow_config=DataflowConfiguration(
                job_name=f'template_job_nmae',
                project_id=dataflow_project_id,
                service_account=dataflow_service_account,
            ),
            params={
                "tableId": f"template_table"
            }
        )

2. 解决SIGKILL资源不足问题 #

• 升级Dataflow工作节点规格：在Dataflow的pipeline配置中指定更高配置的机器类型（比如n2-standard-4），或增加节点数量，提升作业的资源承载能力。
• 优化Java作业代码：排查是否存在内存泄漏、未分片的大数据处理逻辑，减少单节点的资源占用。
• 升级Cloud Composer环境：如果是Airflow工作节点资源不足导致被终止，需要调整Cloud Composer的节点规格或数量，避免Airflow任务进程因系统资源耗尽被kill。
• 拆分大作业：将单个Dataflow作业拆分为多个小任务，分散资源压力，降低单节点负载。

内容的提问来源于stack exchange，提问作者JosephZoom94