如何将pyarrow.Table格式的数据批量加载到BigQuery？

BigQuery Python API 3.3.2版本提供了insert_rows_from_dataframe方法来加载Pandas DataFrame，但没有直接支持PyArrow Table的对应方法。以下是几种可行的等效方案：

方案1：转换为Pandas DataFrame后使用现有方法 #

这是最直接的方式，先把PyArrow Table转换为Pandas DataFrame，再调用insert_rows_from_dataframe，适合中小规模数据：

import pyarrow as pa
from google.cloud import bigquery

# 示例PyArrow Table
pyarrow_table = pa.Table.from_pydict({"id": [1, 2, 3], "value": ["x", "y", "z"]})
# 转换为Pandas DataFrame
df = pyarrow_table.to_pandas()

# 初始化BigQuery客户端并加载数据
client = bigquery.Client()
client.insert_rows_from_dataframe("your-project.your-dataset.target-table", df)

方案2：通过Parquet字节流使用load_table_from_file #

对于大数据量，推荐将PyArrow Table序列化为Parquet格式的字节流，再用load_table_from_file加载。这种方式内存效率更高，且利用Parquet的列式存储优势：

import pyarrow as pa
import pyarrow.parquet as pq
from io import BytesIO
from google.cloud import bigquery

# 示例PyArrow Table
pyarrow_table = pa.Table.from_pydict({"id": [1, 2, 3], "value": ["x", "y", "z"]})
# 将Table写入内存字节流
buffer = BytesIO()
pq.write_table(pyarrow_table, buffer)
buffer.seek(0)  # 重置流指针到起始位置

# 初始化客户端并加载数据
client = bigquery.Client()
load_job = client.load_table_from_file(
    buffer,
    "your-project.your-dataset.target-table",
    source_format=bigquery.SourceFormat.PARQUET
)
load_job.result()  # 等待加载任务完成

方案3：使用load_table_from_dataframe配合PyArrow引擎 #

如果需要保留类似insert_rows_from_dataframe的便捷性，同时提升处理效率，可以将PyArrow Table转为DataFrame后，指定engine="pyarrow"调用load_table_from_dataframe。该方法内部用PyArrow处理数据，比默认引擎更高效：

import pyarrow as pa
from google.cloud import bigquery

pyarrow_table = pa.Table.from_pydict({"id": [1, 2, 3], "value": ["x", "y", "z"]})
df = pyarrow_table.to_pandas()

client = bigquery.Client()
load_job = client.load_table_from_dataframe(
    df,
    "your-project.your-dataset.target-table",
    engine="pyarrow"
)
load_job.result()

内容的提问来源于stack exchange，提问作者dontucme