Airflow BigQueryOperator：如何将查询结果保存到分区表？

我明白你遇到的问题了——直接修改destination_dataset_table为分区表格式（加$YYYYMMDD后缀）时，BigQuery因为不知道分区规则而报错。下面给出针对你的场景（使用google-cloud==0.27.0）的解决方案：

首先，你需要给BigQueryOperator传递分区配置参数，告诉BigQuery要创建的是日分区表，而不是普通分片表。在旧版本的Airflow（对应google-cloud==0.27.0）中，可以通过configuration参数来指定BigQuery作业的详细配置，包括分区规则。

修改后的完整代码示例 #

from airflow import DAG
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
from airflow.operators.dummy_operator import DummyOperator  # 补上你遗漏的导入

with DAG(dag_id='my_dags.my_dag') as dag:
    start = DummyOperator(task_id='start')
    end = DummyOperator(task_id='end')
    
    sql = """ SELECT * FROM `another_dataset.another_table` """  # 标准SQL下需用反引号包裹表名
    
    bq_query = BigQueryOperator(
        bql=sql,
        destination_dataset_table='my_dataset.my_table$20180524',
        task_id='bq_query',
        bigquery_conn_id='my_bq_connection',
        use_legacy_sql=False,
        write_disposition='WRITE_TRUNCATE',
        create_disposition='CREATE_IF_NEEDED',
        configuration={
            "query": {
                "destinationTable": {
                    "projectId": "your-gcp-project-id",  # 替换为你的GCP项目ID
                    "datasetId": "my_dataset",
                    "tableId": "my_table$20180524"
                },
                "partitioning": {
                    "type": "DAY"  # 指定为日分区
                    # 如果需要按查询结果中的特定日期字段分区，添加下面一行：
                    # "field": "your_date_column"
                }
            }
        }
    )
    
    start >> bq_query >> end

关键说明 #

1. 为什么要加configuration？
   当你指定分区表后缀$YYYYMMDD时，BigQuery需要明确知道这个表的分区规则（是按 ingestion time分区，还是按特定字段分区）。通过configuration里的partitioning配置，我们告诉BigQuery这是一个日分区表，解决了报错的根源。

2. 关于query_params的误区
   你之前考虑的query_params是用来传递SQL查询的动态参数（比如给WHERE date = @param传递参数值），和表的分区配置完全无关，所以这个参数不适用当前场景。

3. 额外修复：SQL里的引号
   你原来的SQL里用了单引号包裹表名'another_dataset.another_table'，在标准SQL（use_legacy_sql=False）下应该用反引号`，否则会导致SQL语法错误，我已经在示例里修正了这个问题。

注意事项 #

• 确保configuration里的projectId是你的GCP项目的正确ID；
• 如果选择按字段分区，要保证查询结果中存在对应的日期字段，且字段类型为DATE或DATETIME；
• 你的google-cloud==0.27.0版本完全支持这种配置方式，不需要升级依赖。

内容的提问来源于stack exchange，提问作者MassyB