将Java Dataflow切换为DataflowRunner部署至GCP时遇HttpRequest超时错误

我之前把Java Dataflow作业从DirectRunner切换到DataflowRunner时，也踩过一模一样的上传超时坑，这种情况大多和网络连接、客户端超时配置或者资源大小有关，给你几个亲测有效的排查和解决方向：

1. 增大HTTP请求超时参数 #

Dataflow客户端上传依赖Google API客户端库，默认的超时时间可能扛不住大文件上传或者网络波动。你可以在PipelineOptions里手动设置更长的超时：

DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
options.setRunner(DataflowRunner.class);
// 自定义HTTP请求超时，根据你的文件大小灵活调整
options.setHttpRequestInitializer(request -> {
    request.setConnectTimeout(60000); // 60秒连接超时
    request.setReadTimeout(120000); // 120秒读取超时
});

这个调整能给上传过程足够的缓冲时间，避免因为网络短暂卡顿就触发超时。

2. 排查网络与代理限制 #

如果你的机器在企业内网或者有防火墙，大概率是代理或者防火墙阻断了和GCP服务的长连接：

• 先用gsutil cp命令上传一个文件到你的Dataflow staging桶，验证网络连通性是否正常；
• 如果确实有代理，记得在PipelineOptions里配置代理参数：

options.setProxyHost("你的代理地址");
options.setProxyPort(代理端口);
// 若代理需要认证
options.setProxyUsername("代理用户名");
options.setProxyPassword("代理密码");

3. 优化上传的文件与存储配置 #

如果你的作业依赖的JAR或者资源文件体积很大，单次上传容易超时：

• 尝试拆分大文件，或者把依赖拆分成多个小模块；
• 把staging location设置到离你网络更近的GCS区域（比如你在欧洲就选eu开头的桶），减少跨区域传输的延迟；
• 手动启用GCS分块上传，确保大文件被分成小块传输：

// 配置GCS客户端的分块上传参数
StorageOptions storageOptions = StorageOptions.newBuilder()
    .setProjectId(options.getProject())
    .setHttpRequestInitializer(request -> {
        request.setReadTimeout(120000);
        request.setConnectTimeout(60000);
    })
    .build();
Storage storage = storageOptions.getService();
// 上传时指定100MB的分块大小
BlobInfo blobInfo = BlobInfo.newBuilder(BlobId.of("your-staging-bucket", "path/to/your/file")).build();
storage.create(blobInfo, new FileInputStream("local-file-path"), Storage.BlobWriteOption.chunkSize(100 * 1024 * 1024));

4. 检查GCP权限与服务状态 #

最后别忘了确认基础配置：

• 确保你的Dataflow服务账号拥有足够的权限，至少需要roles/dataflow.developer和roles/storage.objectAdmin；
• 去GCP控制台查看Dataflow服务状态，排除临时的服务故障；
• 检查项目的GCS存储配额，避免因为配额不足导致上传失败。

你的错误日志如下：

mars 19, 2018 8:43:56 PM com.google.api.client.http.HttpRequest execute AVERTISSEMENT: exception thrown while executing request java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.Sock...

内容的提问来源于stack exchange，提问作者Manuel RODRIGUEZ