如何为Google BigQuery JsonStreamWrite API设置写入超时

我开发了一个Java Spring Boot应用，使用Google BigQuery Storage Write API的JsonStreamWriter向BigQuery写入数据。我希望当插入操作耗时超过1分钟时触发流写入超时。以下是我的示例代码：

public void createWriteStream(String table, JsonArr arr) throws IOException, Descriptors.DescriptorValidationException, InterruptedException {
      BigQueryWriteClient bqClient = BigQueryWriteClient.create();
      WriteStream stream = WriteStream.newBuilder().setType(WriteStream.Type.COMMITTED).build();
      TableName tableName = TableName.of("ProjectId", "DataSet", table);
      CreateWriteStreamRequest createWriteStreamRequest =
              CreateWriteStreamRequest.newBuilder()
                      .setParent(tableName.toString())
                      .setWriteStream(stream)
                      .build();
      WriteStream writeStream = bqClient.createWriteStream(createWriteStreamRequest);

      JsonStreamWriter jsonStreamWriter = JsonStreamWriter
              .newBuilder(writeStream.getName(), writeStream.getTableSchema())
              .build();
     jsonStreamWriter.append(jsonArr);
  }

请问BigQuery是否提供此类插入超时的配置项？

BigQuery Storage Write API的Java客户端库没有直接提供针对JsonStreamWriter.append()方法的专属超时配置项，但可以通过以下两种方式实现超时控制：

1. 配置客户端全局RPC超时 #

在创建BigQueryWriteClient时，通过BigQueryWriteSettings设置全局的连接和读取超时，该配置会作用于包括数据插入在内的所有API调用：

// 构建带超时配置的客户端设置
BigQueryWriteSettings settings = BigQueryWriteSettings.newBuilder()
        .setTransportChannelProvider(
                BigQueryWriteSettings.defaultHttpJsonTransportProviderBuilder()
                        .setConnectTimeout(1, TimeUnit.MINUTES) // 连接超时1分钟
                        .setReadTimeout(1, TimeUnit.MINUTES)    // 读取（数据写入）超时1分钟
                        .build())
        .build();

// 使用配置创建客户端
BigQueryWriteClient bqClient = BigQueryWriteClient.create(settings);

注意：此配置为全局生效，会影响客户端发起的所有RPC操作。

2. 单独控制append操作的超时 #

如果仅需要针对jsonStreamWriter.append()步骤设置超时，可以借助Java的ExecutorService和Future实现精准控制：

// 创建单线程执行器
ExecutorService executor = Executors.newSingleThreadExecutor();
// 提交append任务到线程池
Future<Void> writeTask = executor.submit(() -> {
    jsonStreamWriter.append(jsonArr);
    return null;
});

try {
    // 等待任务完成，超过1分钟则触发超时
    writeTask.get(1, TimeUnit.MINUTES);
} catch (TimeoutException e) {
    // 超时处理逻辑：取消任务、抛出自定义异常或记录日志
    writeTask.cancel(true);
    throw new RuntimeException("数据插入操作超时", e);
} catch (Exception e) {
    // 处理其他异常
    throw new RuntimeException("数据插入失败", e);
} finally {
    // 关闭执行器
    executor.shutdown();
}

这种方式可以独立控制写入步骤的超时，不会影响创建写入流等其他操作。

内容的提问来源于stack exchange，提问作者Vijay Manohar