使用Java SDK上传AWS S3大文件（<5GB）卡顿问题求助

我来帮你分析下这个1MB以上文件上传卡住的问题，结合你的代码和描述，大概率是配置或环境层面的问题，给你几个具体的排查方向和解决方案：

1. 检查客户端超时与重试配置 #

默认的AWS SDK客户端超时设置可能不够合理，大文件传输时遇到网络波动就容易卡住。建议手动设置连接超时、读写超时和重试策略：

// 配置客户端参数
ClientConfiguration config = new ClientConfiguration()
    .withConnectionTimeout(5000)    // 连接超时5秒
    .withSocketTimeout(30000)       // 读写超时30秒
    .withMaxErrorRetry(3);          // 失败重试3次

// 初始化带配置的S3客户端
AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
    .withCredentials(credentialProviderChain)
    .withClientConfiguration(config)
    .build();

// 用配置好的客户端创建TransferManager
TransferManager tx = TransferManagerBuilder.standard()
    .withS3Client(s3Client)
    .build();

这样设置后，一旦传输超时会触发重试，而不是一直挂起等待。

2. 验证文件本身的可读性 #

有可能是文件读取环节出了问题，比如文件被其他进程占用、文件损坏，或者系统IO异常。先做个简单的文件读取测试：

try (FileInputStream fis = new FileInputStream(file)) {
    byte[] buffer = new byte[1024];
    int readBytes;
    while ((readBytes = fis.read(buffer)) != -1) {
        // 仅测试读取是否正常，无需处理内容
    }
    System.out.println("文件读取无异常");
} catch (IOException e) {
    e.printStackTrace();
    // 如果这里报错，说明问题出在文件本身或系统IO
}

如果读取过程卡住，那问题就和S3 SDK无关，需要排查文件权限、系统磁盘状态等。

3. 自定义TransferManager的线程池 #

默认TransferManager的线程池配置可能在处理大文件时出现阻塞，尝试手动指定线程池：

// 创建自定义线程池，根据你的机器配置调整大小
ExecutorService executor = Executors.newFixedThreadPool(4);

TransferManager tx = TransferManagerBuilder.standard()
    .withS3Client(s3Client)
    .withExecutorFactory(() -> executor)
    .build();

// 上传完成后记得关闭线程池（避免资源泄漏）
// tx.shutdownNow();

自定义线程池能避免默认池的资源竞争问题，提升大文件传输的稳定性。

4. 排查网络环境问题 #

• 尝试用AWS CLI上传同一个文件，验证网络连通性：

  aws s3 cp your-large-file s3://your-bucket/your-file-key
  

  如果CLI也卡住，说明是网络问题（比如防火墙限制、代理配置、AWS区域网络延迟），需要排查网络链路。
• 如果你在使用代理，确保SDK已正确配置代理参数：

  config.withProxyHost("your-proxy-host")
        .withProxyPort(your-proxy-port);
  

5. 升级AWS SDK版本 #

旧版本的SDK可能存在大文件上传的bug，建议升级到稳定版本：

• 如果你用的是V1 SDK，升级到1.12.x系列的最新版
• 条件允许的话，迁移到V2 SDK（software.amazon.awssdk:s3），它的性能和稳定性更优

另外，你的进度打印可以换成TransferManager的监听机制，避免手动while循环可能带来的线程阻塞：

myUpload.addProgressListener(progressEvent -> {
    System.out.println("传输进度: " + progressEvent.getBytesTransferred() + "/" + progressEvent.getBytes());
});

内容的提问来源于stack exchange，提问作者FunWithJava