Airflow迁移BigQuery至SQL Server：Timestamp导出UTC后缀问题排查

我帮你分析下这个问题的核心：你用FORMAT_TIMESTAMP把Timestamp转成字符串后在WebUI显示正常，但导出到GCS时还是带UTC后缀，本质是你当前的BigQueryToCloudStorageOperator导出的是原表的Timestamp字段，而非你转换后的字符串字段——哪怕你在WebUI里查询时用了FORMAT_TIMESTAMP，但如果Operator还是直接指向原表（source_project_dataset_table配置的是原表），BigQuery会按照Timestamp类型的默认格式导出，自动加上UTC后缀。

给你几个可行的解决方案：

方案1：直接在导出Operator中嵌入转换查询 #

把你的Timestamp转换逻辑直接写到BigQueryToCloudStorageOperator的query参数里，替换掉source_project_dataset_table，这样导出的就是转换后的纯字符串结果，不会带UTC：

Export_TABLE_to_GCS = BigQueryToCloudStorageOperator(
    task_id='Export_to_GCS',
    bigquery_conn_id='myconn1',
    # 这里写完整的转换查询，包含所有需要导出的字段
    query="""
        SELECT 
            FORMAT_TIMESTAMP('%Y-%m-%d %H:%M:%S', field1) AS field1,
            -- 把其他需要导出的字段也列在这里
            field2,
            field3
        FROM database.dataset.table
    """,
    field_delimiter='~',
    destination_cloud_storage_uris=['gs://dataset/table*.txt'],
    # 如果你的BCP导入不需要表头，可以设置print_header=False
    print_header=False,
    dag=dag
)

方案2：导出已转换好的表/视图 #

如果你已经把转换后的结果存到了临时表或视图（比如database.dataset.converted_table），那要确保两个关键点：

1. 该表/视图的field1字段类型确实是STRING（在BigQuery控制台查看表结构确认）；
2. 导出Operator指向这个转换后的表/视图：

Export_TABLE_to_GCS = BigQueryToCloudStorageOperator(
    task_id='Export_to_GCS',
    bigquery_conn_id='myconn1',
    source_project_dataset_table='database.dataset.converted_table',
    field_delimiter='~',
    destination_cloud_storage_uris=['gs://dataset/table*.txt'],
    dag=dag
)

备选方案：通过导出格式选项指定Timestamp格式 #

如果不想修改查询或表结构，也可以直接在导出时配置BigQuery的CSV格式选项，强制指定Timestamp的输出格式：

Export_TABLE_to_GCS = BigQueryToCloudStorageOperator(
    task_id='Export_to_GCS',
    bigquery_conn_id='myconn1',
    source_project_dataset_table='database.dataset.table',
    field_delimiter='~',
    destination_cloud_storage_uris=['gs://dataset/table*.txt'],
    export_format='CSV',
    format_options={
        'csvOptions': {
            'timestampFormat': '%Y-%m-%d %H:%M:%S'
        }
    },
    dag=dag
)

不过这种方式只适用于CSV导出场景，且依赖BigQuery的格式配置，不如前两种方案直接转换为字符串可靠。

最后再提醒下：一定要确认你导出的是转换后的字符串字段，而不是原表的Timestamp字段——这是解决问题的关键。

内容的提问来源于stack exchange，提问作者arcee123