如何在BigQuery免费版中上传大型数据集？

1. 借助Google Cloud Storage中转 #

• 将CSV文件上传到Google Cloud Storage（GCS）的免费存储空间（免费版提供5GB额度）
• 在BigQuery控制台中创建目标数据集，选择「从GCS导入」，指定已上传的CSV文件路径即可完成导入，此方式无单文件行数限制，只要文件大小在免费额度内即可。

2. 使用bq命令行工具导入 #

• 先安装并配置Google Cloud SDK，完成账号登录验证
• 执行以下导入命令（根据实际信息替换占位符）：

  bq load --source_format=CSV --skip_leading_rows=1 your_project.your_dataset.your_table gs://your_gcs_bucket/your_file.csv
  

  若直接从本地文件导入，可将GCS路径替换为本地文件的绝对路径，但优先推荐GCS中转以保证稳定性。

3. 拆分CSV分批上传后合并 #

• 用Excel或Python pandas等工具将大CSV拆分为多个不超过16000行的小文件
• 通过Excel的BigQuery插件逐个上传小文件到不同的临时表，最后在BigQuery中执行SQL合并：

  SELECT * FROM `your_project.your_dataset.table_part1`
  UNION ALL
  SELECT * FROM `your_project.your_dataset.table_part2`
  UNION ALL
  SELECT * FROM `your_project.your_dataset.table_part3`
  

  可将合并结果保存为新表，完成完整数据的整合。

4. 利用Google Sheets作为中间层 #

• 将CSV文件导入Google Sheets（免费版单表支持最高100万行）
• 在BigQuery中选择「从Google Sheets导入」，关联对应的Sheets文件，直接创建表或导入数据。

内容的提问来源于stack exchange，提问作者CPA Random Stuff