使用Python向BigQuery插入记录时出现backend error如何解决

你遇到的无详情backend error主要和BigQuery流式插入的约束、API使用方式有关，常见触发原因如下：

• 单批次插入规模触及临界值：BigQuery要求单条流式插入请求行数不超过1万、请求体总大小不超过10MB，你刚好卡着1万行的上限插入，单条数据内容较长时很容易超限触发后端错误
• 流式插入限流：同一个Google Cloud项目默认流式插入配额为10万行/秒，连续4次批量插入后如果请求频率过高会触发瞬时限流，返回通用无详情错误
• 旧版API无重试逻辑：你使用的insert_rows方法默认没有针对后端错误的重试策略，遇到瞬时抖动会直接抛出全局异常
• 你贴的示例代码中insert_rows缺少必填的目标表参数（格式为项目ID.数据集ID.表名），如果实际运行代码存在参数配置错误也会触发该问题

1. 调小单批次插入规模，建议单批次控制在1000~5000行，同时保证单批次总大小不超过5MB，避开临界值触发的异常
2. 增加自定义重试逻辑，拆分批次插入，避免单批次错误中断全局任务，参考代码如下：

from google.cloud import bigquery
from google.api_core.retry import Retry

_bigquery_client = bigquery.Client()
# 自定义后端错误重试策略
custom_retry = Retry(
    total=3,
    backoff_factor=2,
    retry=lambda e: "backend error" in str(e).lower()
)

# 按5000行拆分批次
batch_size = 5000
# 替换为你的待插入数据
rows = [[1,2],[3,4]]
# 替换为你的目标表完整路径
target_table = "your-project-id.your-dataset-id.your-table-name"

for batch_start in range(0, len(rows), batch_size):
    current_batch = rows[batch_start:batch_start + batch_size]
    errors = _bigquery_client.insert_rows(
        table=target_table,
        rows=current_batch,
        retry=custom_retry,
        skip_invalid_rows=True
    )
    if errors:
        print(f"批次{batch_start}插入错误：{errors}")

3. 如果总数据量超过10万行，建议改用批量加载方案：先将数据写入CSV/Parquet文件存储到Cloud Storage，再导入BigQuery，吞吐量更高且不会触发流式插入配额限制

内容的提问来源于stack exchange，提问作者Machine Learning