Java中如何逐文件上传文件夹内容避免JVM堆内存溢出？

当然可以实现逐文件上传、避免一次性加载所有文件到堆内存的需求，Apache FileUpload本身就支持流式处理，只需调整配置和处理逻辑即可解决堆内存不足的问题，不用修改JVM堆内存参数。

现有代码的问题 #

你当前使用的DiskFileUpload虽然设置了sizeThreshold（内存存储阈值），但因为一次性调用parseRequest获取所有FileItem列表，大文件的内容仍可能在解析阶段占用大量堆内存，最终触发OOM。

解决方案：流式逐文件处理 #

通过FileItemIterator替代一次性解析所有FileItem，实现逐文件流式读取处理，超过阈值的文件会自动写入磁盘临时文件，内存仅保留文件元数据，不会堆积大量文件内容。

1. 调整DiskFileUpload配置

明确设置临时文件存储目录，确保大文件能被写入磁盘而非内存：

DiskFileUpload upload = new DiskFileUpload();
// 1MB阈值：小于1MB的文件暂存内存，超过的直接写入磁盘临时文件
upload.setSizeThreshold(1024 * 1024 * 1);
// 设置应用专属临时目录，避免系统临时目录的权限/空间问题
upload.setRepository(new File("/path/to/your/app/temp-dir"));
upload.setSizeMax(-1); // 不限制总上传大小，可根据业务需求调整
// 可选：设置单个文件的大小限制，防止单个超大文件占用资源
upload.setFileSizeMax(1024 * 1024 * 50); // 限制单个文件最大50MB

2. 替换解析逻辑为流式处理

放弃一次性获取FileItem列表，改用FileItemIterator逐文件迭代处理，每处理完一个文件就释放对应资源：

try {
    FileItemIterator fileIterator = upload.getItemIterator(req);
    while (fileIterator.hasNext()) {
        FileItemStream itemStream = fileIterator.next();
        String fieldName = itemStream.getFieldName();
        InputStream inputStream = itemStream.openStream();

        if (!itemStream.isFormField()) {
            // 处理上传的文件：逐块读取写入目标存储（本地磁盘/云存储等）
            String fileName = itemStream.getName();
            // 示例：写入本地文件，替换为你的实际上传逻辑
            try (OutputStream outputStream = new FileOutputStream("/path/to/save-files/" + fileName)) {
                byte[] buffer = new byte[4096]; // 4KB缓冲区，按需调整
                int bytesRead;
                while ((bytesRead = inputStream.read(buffer)) != -1) {
                    outputStream.write(buffer, 0, bytesRead);
                }
            } finally {
                inputStream.close(); // 及时关闭流释放资源
            }
        } else {
            // 处理普通表单字段（如果有）
            String fieldValue = Streams.asString(inputStream);
            // 表单字段处理逻辑，比如存入参数集合
        }
    }
    // 上传成功跳转
    resp.sendRedirect("front/Alerts.jsp?ok=true");
} catch (FileUploadException | IOException e) {
    e.printStackTrace();
    msg = new String[1];
    msg[0] = e.getMessage();
    session = req.getSession(true);
    session.setAttribute("msg", msg);
    resp.sendRedirect("front/Alerts.jsp?ok=false");
    return;
}

关键原理 #

• FileItemIterator是流式解析，请求内容会被逐段处理，不会一次性把所有文件数据加载到堆内存
• 超过sizeThreshold的文件会自动写入临时磁盘文件，内存中仅保留文件名、字段名等元数据，内存占用始终维持在低水平
• 逐文件处理完成后立即关闭流、释放资源，避免内存泄漏

额外优化建议 #

• 定期清理临时目录的过期文件，防止磁盘空间被占满
• 根据服务器性能调整缓冲区大小（比如4KB/8KB），平衡IO效率和内存占用
• 对上传的文件做格式校验，避免无效文件占用资源

内容的提问来源于stack exchange，提问作者Luna Project