Airflow BigQueryToGCSOperator设置field_delimiter无效求助

可能的原因及解决办法 #

1. Airflow Provider版本问题 #

部分旧版本的apache-airflow-providers-google存在参数映射bug，field_delimiter无法正确传递给BigQuery导出API。建议升级到8.0.0及以上版本：

pip install --upgrade apache-airflow-providers-google>=8.0.0

2. 直接使用BigQuery原生导出配置 #

如果升级版本后问题仍存在，绕过Operator的参数封装，直接通过export_config传递BigQuery标准导出配置，确保分隔符参数被正确识别：

from airflow.providers.google.cloud.transfers.bigquery_to_gcs import BigQueryToGCSOperator

data_to_gcs = BigQueryToGCSOperator(
    task_id="BigQuery_to_GoogleCloudBucket",
    gcp_conn_id="google_cloud_default",
    project_id=project_id,
    source_project_dataset_table=f"{project_id}.{temp_dataset_id}.{temp_table}",
    location="EU",
    destination_cloud_storage_uris=destination_uri,
    export_format="csv",
    # 直接指定BigQuery原生CSV配置
    export_config={
        "csvOptions": {
            "fieldDelimiter": "|",
            "printHeader": True
        }
    }
)

注意：export_config内的参数采用BigQuery API的驼峰命名规则，fieldDelimiter对应Operator的field_delimiter，printHeader对应print_header，二者同时设置时export_config内的配置优先级更高。

3. 检查任务执行日志 #

查看Airflow任务的执行日志，确认field_delimiter参数是否被正确传递到BigQuery导出请求中。如果日志中显示导出请求的分隔符仍是逗号，说明Operator未正确处理该参数，此时优先采用上述第二种方法。

内容的提问来源于stack exchange，提问作者Dinesh