向Google BigQuery插入数据时遭遇503错误，寻求解决方案

你遇到的是BigQuery后端临时资源过载引发的典型503错误，这种情况在持续批量插入大量记录（比如你这里累积到5万条时）很常见，好在错误提示已经明确指出“Retrying may solve the problem”，下面是几个针对性的解决方案：

1. 实现指数退避重试机制 #

这是处理Google API临时错误最推荐的方案。你可以在请求失败时，按照指数增长的间隔时间重试（比如1s → 2s → 4s → 8s，最多重试5次），给后端足够的恢复缓冲时间。

修改你的代码，加入重试逻辑：

int retryCount = 0;
final int MAX_RETRIES = 5;
long initialDelay = 1000; // 初始1秒延迟

while (retryCount < MAX_RETRIES) {
    try {
        insertTableResponse = bigquery.tabledata()
            .insertAll(projectId, datasetId, tableToCreate, insertTableRequest).execute();
        
        // 检查是否有单条记录插入失败，避免数据丢失
        if (!insertTableResponse.getInsertErrors().isEmpty()) {
            // 这里可以收集失败的记录ID，后续单独重试
            // 比如：List<String> failedIds = insertTableResponse.getInsertErrors().keySet().stream().toList();
        }
        break; // 成功插入则退出循环
    } catch (GoogleJsonResponseException e) {
        if (e.getStatusCode() == 503 && retryCount < MAX_RETRIES - 1) {
            retryCount++;
            long delay = initialDelay * (long) Math.pow(2, retryCount);
            Thread.sleep(delay);
            continue;
        }
        // 非503错误或重试次数耗尽，抛出异常
        throw e;
    }
}

2. 调整批量插入的大小 #

虽然BigQuery允许单次insertAll最多插入1000条记录，但每次500条在高负载场景下可能还是给后端带来压力。你可以尝试把批量大小降到200-300条，减少单次请求的数据量，降低触发后端过载的概率。

3. 添加请求间隔 #

在每次批量插入请求之间添加短暂的延迟（比如100-200毫秒），避免短时间内连续发送大量请求，给BigQuery的处理队列留出缓冲空间。

4. 确认配额与限制 #

检查你的Google Cloud项目的BigQuery配额，确保没有触达插入请求速率限制或每日数据插入量限制。虽然5万条记录不算特别大，但如果是在极短时间内完成插入，可能会触发速率阈值。

额外提示：处理部分插入失败 #

BigQuery的insertAll允许部分记录插入失败，即使请求返回成功，也要检查insertTableResponse.getInsertErrors()，对失败的记录单独收集并后续重试，避免数据丢失。

你遇到的错误日志如下，属于典型的后端临时不可用错误：

Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 503 Service Unavailable
{
"code" : 503,
"errors" : [ {
"domain" : "global",
"message" : "Error encountered during execution. Retrying may solve the problem.",
"reason" : "backendError"
} ],
"message" : "Error encountered during execution. Retrying may solve the problem.",
"status" : "UNAVAILABLE"
}

内容的提问来源于stack exchange，提问作者Praveen Hb