Airflow XCom拉取字典失败：BigQuery Operator类型错误排查

错误原因 #

你遇到的time partitioning argument must have a class type dict not class str错误，核心原因是：

• 虽然你通过XCom推送了字典类型的分区配置，但BigQueryOperator默认会把模板渲染后的结果转为字符串格式（比如"{'type': 'DAY', 'field': 'load_date'}"），而time_partitioning参数需要的是实际的Python字典对象。
• 你提到已配置render_template_as_native_obj=True，但从代码看，该参数并未添加到BigQueryOperator的实例化配置中，导致模板渲染逻辑未生效。

解决方案 #

1. 给BigQueryOperator添加render_template_as_native_obj=True参数 #

这是关键修复步骤，该参数会让Airflow将模板渲染结果保留为原生Python对象（比如字典），而不是转为字符串。修改后的stg_load_task代码如下：

stg_load_task = BigQueryOperator(
    task_id=task_id + "_STG_Load",
    destination_dataset_table=f"{BQ_PROJECT}.{BQ_stg_dataset}.{table_name}${{task_instance.xcom_pull(key='partition_date', task_ids='{task_id}_load_job_config')}}",
    write_disposition="WRITE_TRUNCATE",
    sql="{{ task_instance.xcom_pull(task_ids='{task_id}_load_job_config') }}".format(task_id=task_id),
    time_partitioning="{{ task_instance.xcom_pull(key='partition_field', task_ids='{0}_load_job_config') }}".format(task_id),
    use_legacy_sql=False,
    allow_large_results=True,
    render_template_as_native_obj=True,  # 新增此参数，开启原生对象渲染
    dag=dag
)

2. 验证XCom推送的字典格式 #

确保load_job_func中推送的分区字典符合BigQuery要求：

• type字段必须是BigQuery支持的分区类型（如'DAY'、'HOUR'、'MONTH'）
• field字段必须是你的SQL查询结果中存在的日期/时间类型字段

3. （可选）优化模板写法 #

避免在模板字符串外部使用.format()，可以直接在模板中利用Airflow上下文变量拼接task_id，让代码更简洁：

time_partitioning="{{ task_instance.xcom_pull(key='partition_field', task_ids=task_id + '_load_job_config') }}"

注意：此写法需要确保task_id变量在Airflow模板上下文中可用，若不可用，保留原写法即可。

额外注意事项 #

• 若你的Airflow版本低于2.0，render_template_as_native_obj参数不存在，需要升级到Airflow 2.x版本。
• 可以通过Airflow UI的XCom页面查看推送的partition_field值，确认其确实是字典类型而非字符串。

内容的提问来源于stack exchange，提问作者Sandeep Mohanty