如何为指定Airflow DAG修改AwsGlueJobOperator的JOB_POLL_INTERVAL？

方案一：直接设置operator的poll_interval参数（推荐，适用于Airflow 2.2.0+） #

新版本的AwsGlueJobOperator已支持通过poll_interval参数自定义轮询间隔，无需修改Hook源码。直接在任务定义中添加该参数即可实现仅当前DAG调整轮询频率：

from airflow.providers.amazon.aws.operators.glue import AwsGlueJobOperator

with DAG(dag_id=dag_id, default_args=default_args) as dag:
    task1 = AwsGlueJobOperator(
        job_name='SampleJobName',
        dag=dag,
        poll_interval=20  # 将轮询间隔设置为20秒
    )

方案二：自定义GlueHook（适用于不支持poll_interval参数的旧版本） #

如果你的Airflow版本不支持直接设置轮询参数，可以自定义Hook覆盖默认的JOB_POLL_INTERVAL，再指定给当前任务使用，不会影响其他DAG：

1. 编写自定义GlueHook类：

from airflow.providers.amazon.aws.hooks.glue import GlueHook

class CustomGlueHook(GlueHook):
    # 覆盖默认轮询间隔为20秒
    JOB_POLL_INTERVAL = 20

2. 在任务中指定使用自定义Hook：

from airflow.providers.amazon.aws.operators.glue import AwsGlueJobOperator
from your_module import CustomGlueHook  # 替换为自定义Hook所在的实际模块路径

with DAG(dag_id=dag_id, default_args=default_args) as dag:
    task1 = AwsGlueJobOperator(
        job_name='SampleJobName',
        dag=dag,
        hook_class=CustomGlueHook  # 指定当前任务使用自定义Hook
    )

说明 #

• 方案一无需额外代码，是最简洁的实现方式，优先确认你的Airflow版本是否支持该参数。
• 两种方案均仅对当前DAG的Glue任务生效，不会影响其他DAG的轮询逻辑。

内容的提问来源于stack exchange，提问作者Himanshu Gaur