Apache Airflow中DataflowTemplatedJobStartOperator未按预期设置任务区域

你的问题核心在于Airflow 2.2.5版本的DataflowTemplatedJobStartOperator不会自动从dataflow_default_options的location字段继承任务区域，且模板可能存在默认区域配置，导致job_region被设为us-central1。以下是具体修复方案：

1. 显式指定Operator的job_region参数 #

在DataflowTemplatedJobStartOperator中直接添加job_region参数，这是最直接有效的方式，会强制Dataflow任务使用指定区域：

start_template_job = DataflowTemplatedJobStartOperator(
    task_id="dataflow_operator_batch_bq_to_redis",
    template="gs://my-bucket-temp/template/BatchRedisUpdatePipelineTemplate",
    job_region="europe-west1",  # 强制设置任务区域
    parameters={
        "inputTopic": "inputtopic",
        "bigQueryInputProject": "inputproject",
        "bigQueryInputDataset": "dataset",
        "bigQueryInputTable": "table",
        "bigQueryInputSQLBranchMetadata": "DUMMY",
        "bigQueryInputSQLBranchSkuWeek": "DUMMY",
        "redisHost": "host",
        "redisPort": "6379",
    },
    dataflow_default_options=default_args["dataflow_default_options"],
)

2. 检查并覆盖Dataflow模板的默认区域 #

如果你的Dataflow模板在创建时默认指定了us-central1区域，会覆盖传入的参数。可以通过两种方式修复：

• 重新生成模板时添加--region europe-west1参数，确保模板默认区域正确；
• 在Operator的parameters中显式传入region参数：

parameters={
    # 其他参数...
    "region": "europe-west1"
}

3. 确认跨项目权限配置 #

确保Composer所在项目的服务账号拥有目标项目中Dataflow的操作权限，且权限范围包含europe-west1区域，避免因权限问题导致区域配置失效。

内容的提问来源于stack exchange，提问作者Majobber