加载BigQuery表时如何选择Parquet文件的列子集？

当然可以，BigQuery提供两种高效方法直接加载Parquet文件的列子集，无需预处理原始文件：

方法一：通过外部表+CREATE TABLE AS SELECT #

1. 创建外部表挂载GCS中的Parquet文件
   外部表允许读取GCS上的Parquet文件，即使列名不符合BigQuery规范也能正常创建（查询时用反引号包裹违规列名即可）。示例SQL：

   CREATE OR REPLACE EXTERNAL TABLE `your-project.your-dataset.external_parquet`
   OPTIONS (
     format = 'PARQUET',
     uris = ['gs://your-bucket/path/to/partitions/*.parquet']
   );
   

2. 选择需要的列并加载到目标表
   从外部表中仅选取合规列，对违规列重命名后写入正式表，同时可保留分区逻辑：

   CREATE OR REPLACE TABLE `your-project.your-dataset.cleaned_table`
   PARTITION BY date_column -- 匹配原数据的分区逻辑
   AS
   SELECT
     valid_col_1,
     `invalid-col-2` AS valid_col_2, -- 用反引号包裹违规列名，重命名为合规格式
     valid_col_3
   FROM `your-project.your-dataset.external_parquet`;
   

方法二：加载时直接指定Schema #

使用bq命令行工具或BigQuery API加载数据时，直接指定包含目标列的Schema，BigQuery会自动忽略未在Schema中定义的列：

bq load --source_format=PARQUET \
--schema='valid_col_1:STRING,`invalid-col-2`:INTEGER,valid_col_3:FLOAT' \
--replace \
`your-project.your-dataset.cleaned_table` \
gs://your-bucket/path/to/partitions/*.parquet

如果需要重命名违规列，建议结合方法一的外部表方式处理，灵活性更高。

两种方法都利用BigQuery原生的分布式处理能力直接读取GCS文件，无需额外构建Python分布式流程，能大幅节省计算资源。

内容的提问来源于stack exchange，提问作者Hunter