读取远程Zip文件时StringBuilder触发Java堆内存溢出错误求助

问题根源 #

你当前的代码错误地将Zip文件的二进制字节流直接转成字符串，用StringBuilder存储整个文件内容：

• Zip是二进制压缩格式，转成字符串不仅会出现乱码，完全没有业务意义
• StringBuilder会把所有内容加载到内存中，一旦Zip文件体积超过JVM堆内存剩余空间，就会触发java.lang.OutOfMemoryError: Java heap space

针对不同需求的解决方案 #

需求1：读取Zip包内的文本文件内容

如果目标是获取Zip里的文本文件内容，应该逐个处理Zip条目，用流式方式读取文本（避免加载整个文件到内存）：

public static void main(String args[]) {  
    String url = "https://server/test.zip";
    LOG.info("Url {}", url);
    // 调用修改后的方法
    readTextFromRemoteZip(url);
}

private static void readTextFromRemoteZip(String remoteFileUrl) {
    try {
        URL url = new URL(remoteFileUrl);
        // 使用try-with-resources自动关闭流
        try (BufferedInputStream in = new BufferedInputStream(url.openStream(), 1024);
             ZipInputStream zipStream = new ZipInputStream(in)) {
            
            ZipEntry entry;
            // 根据你的文本文件编码调整，比如UTF-8
            String charset = "UTF-8";
            while ((entry = zipStream.getNextEntry()) != null) {
                // 跳过目录，只处理文件
                if (!entry.isDirectory()) {
                    System.out.println("读取文件: " + entry.getName());
                    // 用BufferedReader逐行读取文本，降低内存占用
                    try (BufferedReader reader = new BufferedReader(new InputStreamReader(zipStream, charset))) {
                        String line;
                        while ((line = reader.readLine()) != null) {
                            // 在这里处理每一行内容，比如打印、写入本地或业务处理
                            System.out.println(line);
                        }
                    }
                }
                zipStream.closeEntry();
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

需求2：将远程Zip文件下载到本地

如果只是要保存Zip文件到本地，直接用字节流写入文件，全程只占用缓冲区内存：

public static void main(String args[]) {  
    String url = "https://server/test.zip";
    String localPath = "D:/downloads/test.zip";
    LOG.info("Url {}", url);
    downloadRemoteZip(url, localPath);
}

private static void downloadRemoteZip(String remoteFileUrl, String localFilePath) {
    try {
        URL url = new URL(remoteFileUrl);
        try (BufferedInputStream in = new BufferedInputStream(url.openStream(), 1024);
             FileOutputStream out = new FileOutputStream(localFilePath)) {
            
            byte[] buffer = new byte[1024];
            int read;
            while ((read = in.read(buffer)) != -1) {
                out.write(buffer, 0, read);
            }
            System.out.println("Zip文件已保存至: " + localFilePath);
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

需求3：必须在内存中存储Zip二进制内容（仅适用于小文件）

如果业务确实需要把整个Zip内容放在内存，用ByteArrayOutputStream替代StringBuilder（专门用于存储二进制数据，效率更高）：

public static void main(String args[]) {  
    String url = "https://server/test.zip";
    LOG.info("Url {}", url);
    byte[] zipBytes = readZipToByteArray(url);
    // 后续处理二进制数组，比如解压或传输
}

private static byte[] readZipToByteArray(String remoteFileUrl) {
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    try {
        URL url = new URL(remoteFileUrl);
        try (BufferedInputStream in = new BufferedInputStream(url.openStream(), 1024);
             ZipInputStream zipStream = new ZipInputStream(in)) {
            
            byte[] buffer = new byte[1024];
            int read;
            while ((read = zipStream.read(buffer)) != -1) {
                baos.write(buffer, 0, read);
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    }
    return baos.toByteArray();
}

关键注意事项 #

• 禁止将二进制数据转成字符串存储：这会引发编码混乱，且内存占用远高于原始二进制
• 处理大文件必须用流式读写：逐段处理数据，避免一次性加载整个文件到内存
• 临时调整堆内存（不推荐）：如果只是临时应急，可以在启动JVM时添加-Xmx2g（分配2GB堆内存），但这无法从根本上解决大文件内存溢出问题

内容的提问来源于stack exchange，提问作者Watermelon