将多个本地Parquet文件上传至BigQuery的问题求助

方法一：使用bq命令行工具直接加载本地目录 #

这是最简便的方式，你之前可能遗漏了关键参数。执行以下命令即可：

bq load --source_format=PARQUET \
  --autodetect \
  your-project-id:your-dataset.your-table \
  /path/to/your/parquet-files/*

注意要点：

• 替换your-project-id、your-dataset、your-table为你的实际项目、数据集和目标表名
• /path/to/your/parquet-files/*是本地Parquet文件的路径通配符，确保目录下只有待上传的Parquet文件
• --autodetect会自动识别Parquet内置的schema，适配你所有文件schema一致的场景
• 若遇权限报错，先执行gcloud auth login完成身份验证

如果仍有异常，排查方向：

• 路径是否含空格，有空格需用引号包裹路径（如"/path/with space/*.parquet"）
• 目标数据集是否已创建；若表已存在，需确保schema匹配，或添加--replace参数覆盖现有表

方法二：Python分块读取+分批上传 #

用pyarrow逐个读取文件，避免一次性加载全部数据占满内存，再通过google-cloud-bigquery库分批写入：

import os
import pyarrow.parquet as pq
from google.cloud import bigquery
from google.cloud.bigquery import LoadJobConfig

client = bigquery.Client()
table_id = "your-project-id:your-dataset.your-table"
config = LoadJobConfig(source_format=bigquery.SourceFormat.PARQUET)

parquet_dir = "/path/to/your/parquet-files"
for filename in os.listdir(parquet_dir):
    if filename.endswith(".parquet"):
        file_path = os.path.join(parquet_dir, filename)
        # 读取单个Parquet文件，内存占用仅为单个文件大小
        table = pq.read_table(file_path)
        # 上传至BigQuery
        job = client.load_table_from_dataframe(table.to_pandas(), table_id, job_config=config)
        job.result()  # 等待当前文件上传完成
        print(f"已完成：{filename}")

更高效的文件流上传写法：

import io
for filename in os.listdir(parquet_dir):
    if filename.endswith(".parquet"):
        file_path = os.path.join(parquet_dir, filename)
        with open(file_path, "rb") as f:
            job = client.load_table_from_file(f, table_id, job_config=config)
        job.result()
        print(f"已完成：{filename}")

方法三：先传至GCS再加载到BigQuery（适合超大规模文件） #

若本地网络不稳定，可先将文件上传至Google Cloud Storage（GCS），再从GCS批量加载：

1. 用gsutil上传文件：

gsutil cp /path/to/your/parquet-files/* gs://your-bucket-name/parquet-files/

2. 从GCS加载到BigQuery：

bq load --source_format=PARQUET \
  --autodetect \
  your-project-id:your-dataset.your-table \
  gs://your-bucket-name/parquet-files/*

这种方式BigQuery会自动并行处理GCS上的文件，速度更快，也能避免本地直传的网络波动问题。

内容的提问来源于stack exchange，提问作者Ottpocket