借助BigQuery与GCloud合并Parquet文件遇阻，求简便方案

方案1：BigQuery直接导出单文件（限小数据量） #

如果数据量在1GB以内，可直接指定单文件路径导出，BigQuery会生成单个文件：

bq extract --destination_format=PARQUET \
  --compression=SNAPPY \
  your-project:dataset.table \
  gs://your-bucket/single-output-file.parquet

注意：数据量超过1GB时BigQuery会强制分片，此方法仅适用于小数据集。

方案2：Cloud Storage自动分层合并脚本 #

利用gsutil compose写个Shell脚本自动批量合并，无需手动循环：

#!/bin/bash
BUCKET="your-bucket"
PREFIX="your-export-prefix"
OUTPUT="final-merged.parquet"

# 第一步：将分片文件按32个一组合并为中间文件
gsutil ls gs://$BUCKET/$PREFIX-*.parquet | split -l 32 - temp-
for f in temp-*; do
  gsutil compose $(cat $f) gs://$BUCKET/intermediate-$(basename $f).parquet
  rm $f
done

# 第二步：合并所有中间文件为最终单文件
gsutil compose gs://$BUCKET/intermediate-*.parquet gs://$BUCKET/$OUTPUT

# 清理中间文件（可选）
gsutil rm gs://$BUCKET/intermediate-*.parquet

脚本会自动完成分层合并，全程无需手动干预。

方案3：Dataflow分布式合并（大数据量场景） #

针对TB级数据，用Dataflow做分布式合并，无需担心内存限制：
示例Python代码（基于Apache Beam）：

import apache_beam as beam
from apache_beam.io import ReadFromParquet, WriteToParquet

def run_merge_job(input_pattern, output_path):
    with beam.Pipeline() as p:
        (p
         | '读取Parquet分片' >> ReadFromParquet(input_pattern)
         | '写入单个Parquet文件' >> WriteToParquet(
             output_path,
             file_name_suffix='.parquet',
             num_shards=1  # 指定仅生成1个文件
         ))

if __name__ == '__main__':
    run_merge_job(
        'gs://your-bucket/export-*.parquet',
        'gs://your-bucket/final-merged'
    )

提交作业到Dataflow后，会自动完成分布式读取与合并，适配超大数据集。

方案4：直接从BigQuery导出到本地 #

若无需先存储到GCS，可直接导出到本地磁盘（需确保本地有足够空间）：

bq extract --destination_format=PARQUET \
  your-project:dataset.table \
  ./local-single-file.parquet

此方法受限于本地网络带宽，适合中等数据量场景。

内容的提问来源于stack exchange，提问作者Luis