IOUtils.copy处理超200MB文件崩溃问题求助

核心原因 #

你的代码把整个文件全量加载到堆内存：ByteArrayOutputStream会将S3下载的所有数据存储到内存中的byte数组，200MB+的文件加上JVM其他内存占用，直接耗尽了2.5GB容器分配的堆内存，引发内存溢出。

解决方案 #

1. 优先采用流式处理（推荐）

如果业务逻辑允许，直接把S3ObjectInputStream传递到后续处理环节，避免全量缓存到内存。内存中只会保留IO缓冲区数据（默认几KB到几十KB），不会加载整个文件。

示例代码（直接写入本地文件）：

InputStream inputStreamm = null;
S3Object s3Object = null;

try {
    s3Object = client.getObject(bucket, fileName);
    try (S3ObjectInputStream inputStream = s3Object.getObjectContent();
         FileOutputStream outputStream = new FileOutputStream("/path/to/target/file")) {
        // 直接流式拷贝，无需全量缓存
        IOUtils.copy(inputStream, outputStream);
        // 后续需要输入流时，直接从目标文件读取
        inputStreamm = new FileInputStream("/path/to/target/file");
    }
} catch (Exception e){
    LOG.error(e.getMessage(), e); // 打印完整堆栈，方便排查问题
} finally {
    // 避免空指针，先判断再关闭S3Object
    if (s3Object != null) {
        try {
            s3Object.close();
        } catch (IOException e) {
            LOG.warn("Failed to close S3Object", e);
        }
    }
}

2. 用临时文件替代内存流（需复用输入流场景）

如果必须复用输入流（比如后续逻辑需要重复读取），用磁盘临时文件代替ByteArrayOutputStream，内存占用仅为IO缓冲区大小：

InputStream inputStreamm = null;
S3Object s3Object = null;
File tempFile = null;

try {
    s3Object = client.getObject(bucket, fileName);
    // 创建临时文件，JVM退出时自动删除
    tempFile = File.createTempFile("s3_temp_", ".tmp");
    tempFile.deleteOnExit();

    try (S3ObjectInputStream inputStream = s3Object.getObjectContent();
         FileOutputStream outputStream = new FileOutputStream(tempFile)) {
        IOUtils.copy(inputStream, outputStream);
        // 从临时文件创建输入流供后续使用
        inputStreamm = new FileInputStream(tempFile);
    }
} catch (Exception e){
    LOG.error(e.getMessage(), e);
} finally {
    // 安全关闭S3Object
    if (s3Object != null) {
        try {
            s3Object.close();
        } catch (IOException e) {
            LOG.warn("Failed to close S3Object", e);
        }
    }
    // 手动清理临时文件（可选，deleteOnExit会兜底，但提前清理更稳妥）
    if (tempFile != null && tempFile.exists()) {
        tempFile.delete();
    }
}

3. 调整JVM堆参数（治标不治本）

如果暂时无法修改代码，可以尝试调大堆内存（比如设置-Xmx2g，留部分内存给JVM非堆区域），但这种方法只能缓解小文件问题，遇到更大的文件仍会溢出，不推荐作为长期方案。

额外优化点 #

• 原代码finally块直接调用s3Object.close()存在空指针风险，需先判空
• 异常处理建议打印完整堆栈（LOG.error(e.getMessage(), e)），便于定位问题
• 可以给IOUtils.copy指定缓冲区大小（比如IOUtils.copy(inputStream, outputStream, 8192)），减少IO交互次数

内容的提问来源于stack exchange，提问作者Babu