向BigQuery写入大量数据遇超时，如何配置客户端超时时间？

问题本质 #

你碰到的RetryError不是insert_rows_json()方法的timeout参数能解决的——这个方法的timeout只控制单次请求的超时，而BigQuery客户端默认的重试策略里有个600秒的全局总超时限制，这才是报错里显示截止时间仍为600.0s的原因。

解决方法：创建客户端时自定义重试策略 #

可以在初始化bigquery.Client时，通过配置全局重试策略来覆盖默认的超时限制，具体代码如下：

from google.cloud import bigquery
from google.api_core.retry import Retry
from google.api_core import exceptions
from google.oauth2 import service_account

credentials = service_account.Credentials.from_service_account_info(service_account_json)

# 自定义重试策略：设置总超时时间（示例为3600秒，可按需调整）
custom_retry = Retry(
    total=3600,  # 所有重试请求的总超时时间，单位秒
    retryable_exceptions=(
        exceptions.DeadlineExceeded,
        exceptions.ServiceUnavailable,
        exceptions.ConnectionError,
        exceptions.ClientError,  # 覆盖你遇到的ConnectionResetError场景
    ),
)

# 创建客户端时传入自定义重试配置
client = bigquery.Client(
    credentials=credentials,
    project=credentials.project_id,
    client_options={"retry": custom_retry}
)

额外优化建议 #

• 拆分数据批次：不要一次性写入超大批量数据，拆成1-5万条/批次的小请求，降低单次连接的负载，减少被远程主机强制断开的概率。
• 排查网络稳定性：ConnectionResetError大概率和网络波动有关，确认本地到BigQuery的网络连通性，必要时切换网络环境。
• 保留方法级timeout：insert_rows_json(*args, timeout=xxx)的参数仍可保留，它控制单次请求的超时时长，和客户端全局总超时形成互补。

内容的提问来源于stack exchange，提问作者ADA