基于client_id将BigQuery数据分客户导出CSV到GCS的低耗方案咨询

以下两种方案均仅需处理1次全表数据，成本可降到你之前方案的1%以下。 #

方案1：BigQuery原生分区导出（仅产生1GB查询处理量，操作最简单） #

你已经完成了数据扁平化，仅需运行1次EXPORT DATA语句即可，全程自动生成按client_id拆分的独立CSV：

• 执行语句示例：

EXPORT DATA
  OPTIONS(
    uri = 'gs://<你的GCS存储桶路径>/client_*.csv',
    format = 'CSV',
    overwrite = true,
    header = true,
    field_delimiter = ','
  ) AS
SELECT * FROM `<你的扁平化后的BigQuery表名>`
PARTITION BY client_id;

• 执行后GCS桶内会自动生成按client_id区分的CSV文件，命名格式为client_<对应client_id>_000000000000.csv，自动包含表头，无需额外处理。如果单个客户的数据量超过1GB，会自动拆分为多个带序号后缀的同客户文件。

方案2：全表导出后GCS侧拆分（零BigQuery查询成本） #

BigQuery导出已有表的操作本身不收取查询费用，仅需支付极低的GCS存储费用：

• 直接用bq extract命令将整张1GB的扁平化表导出为单个CSV到GCS，命令示例：
  bq extract --format=CSV <你的项目ID>:<数据集名>.<表名> gs://<你的存储桶路径>/full_table.csv
• 后续用云函数/Cloud Run实例读取该CSV，按client_id字段拆分写入不同的CSV文件即可，1GB文件的处理时长通常不超过1分钟，仅产生极低的计算资源费用，甚至可覆盖在免费额度内。

之前成本过高的原因 #

你之前的方案相当于对1GB的表执行了100+次全表扫描，每次扫描都会单独计费，多次重复扫描自然产生极高的处理成本，上述两个方案均避免了重复扫描问题。

内容的提问来源于stack exchange，提问作者lightfoot34