Airflow中GCSToBigQueryOperator的time_partitioning参数配置问询

你遇到的问题源于参数名称与BigQuery API规范不匹配，以下是正确的time_partitioning配置写法：

time_partitioning={
    'field': 'date',
    'type': 'DAY',
    'partition_expiration_days': 365,  # 替换原错误参数名expiration
    'require_partition_filter': True
}

核心说明： #

• partition_expiration_days：这是BigQuery API规定的分区过期天数参数名，而非你之前使用的expiration，只有用这个名称，BigQuery才能识别并生效
• require_partition_filter：参数名本身是正确的，但需确认你的Airflow版本（建议使用Airflow 2.x及以上）支持该参数，低版本可能存在兼容性问题

生效验证： #

配置完成后，可通过BigQuery控制台确认设置：

• 进入目标表详情页，查看「分区」模块，确认「分区过期时间」显示为365天
• 检查是否已开启「要求分区过滤器」选项

内容的提问来源于stack exchange，提问作者Maykid