CloudRunExecuteJobOperator的overrides参数传递失败问题

问题核心在于CloudRunExecuteJobOperator默认只对特定字段执行模板渲染，job_name属于默认支持模板的字段，但overrides不在默认列表里，导致模板语法被当成字面量直接传递。

解决方案 #

在Operator实例中显式指定templates_fields参数，把overrides加入支持模板渲染的字段列表，同时保留render_template_as_native_obj=True确保渲染后保持字典结构：

task_cloud_run = CloudRunExecuteJobOperator(
    task_id='cloud_run',
    provide_context=True,
    project_id="txd-scpn-pricing-dev",
    region="us-central1",
    overrides={
        "container_overrides": [
            {"env": [{"name": "id_date", "value": "{{task_instance.xcom_pull(key='id_date')}}"}]}
        ]
    },
    job_name="{{task_instance.xcom_pull(key='params_job_name')}}",
    dag=dag,
    trigger_rule='none_failed',
    templates_fields=['overrides'],  # 关键配置：让overrides字段支持模板解析
    render_template_as_native_obj=True
)

原理说明 #

Airflow的Operator通过templates_fields属性定义哪些字段需要执行模板渲染逻辑。CloudRunExecuteJobOperator的默认templates_fields不包含overrides，所以即使写了模板语法也不会被解析。手动添加该字段后，Airflow才会处理overrides里的模板表达式；而render_template_as_native_obj=True能保证渲染后的结果是原生Python字典，而非字符串，符合Cloud Run API的参数格式要求。

内容的提问来源于stack exchange，提问作者cgallegu