读取S3文件时遇Java.net.SocketException: Connection reset问题求助

这种场景我之前也遇到过，结合你的代码和描述，大概率是S3对象流的生命周期管理或者AWS客户端配置的问题，而非文件本身的问题。下面给你拆解可能的原因和对应的解决办法：

1. 最可能的原因：S3Object被提前GC回收导致流关闭 #

你怀疑的点完全正确，这是这类问题的高频诱因。看你的S3Utils.getUnprocessedFiles()方法：

public List<S3Object> getUnprocessedFiles(List<S3ObjectSummary> files) {
    //进行一些过滤操作
    List<S3Object> unprocessedFiles = new ArrayList<>();
    for (S3ObjectSummary summary : filteredSummaries) {
        S3Object s3Object = amazonS3.getObject(new GetObjectRequest(summary.getBucketName(), summary.getKey()));
        unprocessedFiles.add(S3Object); // 这里注意：你代码里写的是类名S3Object，应该是变量s3Object吧？
    }
    return unprocessedFiles;
}

当你把S3Object批量存入列表返回后，如果在遍历处理前触发了GC，S3Object内部的HTTP连接流会被自动关闭（因为ObjectContent依赖客户端连接，而S3Object本身没有被强引用持有）。而那个特定文件可能因为体积大、处理耗时久，更容易在GC触发后出现流中断。

解决办法：
不要提前批量获取所有S3Object，改成边遍历边获取、处理完立刻关闭流：

• 先修改S3Utils，让它返回过滤后的S3ObjectSummary列表，而不是S3Object：

public List<S3ObjectSummary> getUnprocessedSummaries(List<S3ObjectSummary> files) {
    // 保留原过滤逻辑，返回过滤后的S3ObjectSummary列表
    return filteredSummaries;
}

public S3Object getS3Object(S3ObjectSummary summary) {
    return amazonS3.getObject(new GetObjectRequest(summary.getBucketName(), summary.getKey()));
}

• 然后修改FileService的处理逻辑，用try-with-resources自动管理流的生命周期：

public void processFile() {
    List<S3ObjectSummary> files = s3utils.getAllFiles();
    List<S3ObjectSummary> unprocessedSummaries = s3utils.getUnprocessedSummaries(files);
    for(S3ObjectSummary summary: unprocessedSummaries) {
        try (S3Object file = s3utils.getS3Object(summary)) { // 自动关闭S3Object和流
            InputStream content = file.getObjectContent();
            List<Record> records = conversionUtils.convert(content);
        } catch (IOException e) {
            // 这里可以添加日志或异常重试逻辑
            log.error("处理文件{}失败", summary.getKey(), e);
        }
    }
}

2. AWS S3客户端连接池/超时配置不合理 #

默认的AmazonS3客户端连接池参数（比如最大连接数、socket超时）可能不足以处理大文件或高并发场景，导致连接被强制重置。特别是那个特定文件如果体积较大，流读取时间超过了默认超时限制，就会触发连接重置。

解决办法：
自定义客户端配置，调整连接池和超时参数：

@Configuration
public class Config {
    @Bean
    public AmazonS3 amazonS3() {
        ClientConfiguration clientConfig = new ClientConfiguration()
                .withMaxConnections(50) // 增大连接池容量
                .withConnectionTimeout(30000) // 30秒连接超时
                .withSocketTimeout(120000); // 120秒socket超时，适配大文件读取

        return AmazonS3ClientBuilder.standard()
                .withCredentials(new DefaultAWSCredentialsProviderChain())
                .withClientConfiguration(clientConfig)
                .build();
    }
}

3. 网络波动与重试机制缺失 #

AWS内部网络偶尔会有波动，大文件传输时更容易出现连接中断。本地环境网络稳定，所以不会触发这个问题。

解决办法：
给客户端添加重试机制，让它自动重试连接中断的请求：

clientConfig.withRetryPolicy(new RetryPolicy(
        PredefinedRetryPolicies.DEFAULT_RETRY_CONDITION,
        PredefinedRetryPolicies.DEFAULT_BACKOFF_STRATEGY,
        3, // 最多重试3次
        true
));

如果文件特别大，还可以考虑使用分段下载（通过Range请求拆分文件），降低单连接的传输压力。

4. 代码隐性笔误 #

看你S3Utils.getUnprocessedFiles()里的代码：unprocessedFiles.add(S3Object);这里如果是实际代码中的笔误（应该是变量s3Object），会导致编译错误，但如果是你写提问时的失误，忽略这条；如果是真实代码问题，修正后再测试。

验证建议 #

1. 优先测试修改S3Object的获取和处理逻辑（边遍历边处理+自动关闭），这是最可能解决问题的点。
2. 给S3Object和InputStream添加日志，打印它们的引用状态，确认是否在处理前被GC回收。
3. 测试其他大文件是否会出现同样问题，如果是，说明是连接池或超时配置的问题。

内容的提问来源于stack exchange，提问作者user2017502