SpringBoot使用Thumbnailator处理大图片时OOM问题及优化咨询

在SpringBoot项目中使用Thumbnailator（版本0.4.20）处理大图片时，抛出java.lang.OutOfMemoryError: Java heap space异常，当前JVM堆内存配置为-Xms256m -Xmx512m，推测是图片过大导致内存不足。

当前代码片段 #

private static void compressImage(File file) throws IOException {
    Path tempFile = Files.createTempFile("temp", ".jpg");
    try {
        Thumbnails.of(file)
                .rotate(0)
                .scale(0.75f)
                .outputQuality(0.9f)
                .outputFormat("jpg")
                .toFile(tempFile.toFile());

        Files.move(tempFile, file.toPath(), StandardCopyOption.REPLACE_EXISTING);
    } finally {
        Files.deleteIfExists(tempFile);
    }
}

错误堆栈 #

org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space
at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1006)
at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:925)
at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:974)
at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:877)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:661)
at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:851)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:742)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:231)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
at org.springframework.web.filter.CorsFilter.doFilterInternal(CorsFilter.java:96)
at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
at com.alibaba.druid.support.http.WebStatFilter.doFilter(WebStatFilter.java:123)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)

Maven依赖 #

<dependency>
    <groupId>net.coobird</groupId>
    <artifactId>thumbnailator</artifactId>
    <version>0.4.20</version>
</dependency>

咨询问题 #

1. 如何在现有内存限制下优化当前图片缩放压缩方案？
2. 是否有更优方式使用Thumbnailator或其他库处理大图片？

一、现有内存限制下的优化方案 #

1. 用固定尺寸替代比例缩放 #

Thumbnailator默认会加载整张原图到内存计算缩放比例，改用固定目标宽高可以让它只处理必要的像素数据，大幅降低内存占用：

Thumbnails.of(file)
        .size(1200, 900) // 根据业务需求设置合理的最大宽高
        .outputQuality(0.8f) // 适当降低输出质量，进一步减少内存压力
        .outputFormat("jpg")
        .toFile(tempFile.toFile());

2. 流式处理减少内存占用 #

使用toOutputStream替代toFile，避免临时文件的额外IO开销，同时减少内存中缓存的数据量：

try (OutputStream os = new FileOutputStream(tempFile.toFile())) {
    Thumbnails.of(file)
            .size(1200, 900)
            .outputQuality(0.8f)
            .outputFormat("jpg")
            .toOutputStream(os);
}

3. 提前过滤无需压缩的图片 #

处理前先读取图片元数据判断尺寸，只对超出阈值的图片进行压缩，避免不必要的内存消耗：

BufferedImage sourceImg = ImageIO.read(file);
if (sourceImg.getWidth() > 1200 || sourceImg.getHeight() > 900) {
    // 执行压缩逻辑
} else {
    // 尺寸符合要求，直接跳过
}

如果想进一步降低判断时的内存占用，可以用Apache Commons Imaging读取图片元数据，无需加载整张图片。

4. 优化JVM参数细节 #

在现有堆内存配置基础上，添加-XX:+UseG1GC启用G1垃圾回收器，它能更高效地处理大对象、减少内存碎片；同时设置-XX:MaxMetaspaceSize=128m避免元空间挤占堆内存。

二、更优的大图片处理方案 #

1. Thumbnailator分块加载进阶用法 #

通过自定义ImageReadParam实现分块读取图片，适合处理超大型图片（需自行实现分块拼接逻辑）：

ImageInputStream iis = ImageIO.createImageInputStream(file);
Iterator<ImageReader> readers = ImageIO.getImageReaders(iis);
if (readers.hasNext()) {
    ImageReader reader = readers.next();
    reader.setInput(iis);
    
    ImageReadParam param = reader.getDefaultReadParam();
    // 设置读取区域，分块处理
    param.setSourceRegion(new Rectangle(0, 0, reader.getWidth(0)/2, reader.getHeight(0)/2));
    
    BufferedImage img = reader.read(0, param);
    // 对分块图片缩放后拼接（需自行实现拼接逻辑）
    reader.dispose();
    iis.close();
}

2. 使用本地工具库处理 #

用ImageMagick配合im4java调用本地命令行处理图片，完全不占用JVM堆内存，适合超大型图片：

ConvertCmd cmd = new ConvertCmd();
IMOperation op = new IMOperation();
op.addImage(file.getAbsolutePath());
op.resize(1200, 900);
op.quality(80.0);
op.addImage(tempFile.toFile().getAbsolutePath());
cmd.run(op);

注意：需要在服务器上安装ImageMagick，同时做好异常捕获和资源清理。

3. 异步处理控制并发 #

将图片压缩任务放入异步线程池，避免阻塞请求线程，同时控制并发数防止内存耗尽：

// 配置线程池
@Bean
public ExecutorService imageProcessExecutor() {
    return new ThreadPoolExecutor(2, 4, 60L, TimeUnit.SECONDS,
            new ArrayBlockingQueue<>(10),
            new ThreadFactoryBuilder().setNameFormat("image-process-%d").build(),
            new ThreadPoolExecutor.AbortPolicy());
}

// 异步调用压缩方法
imageProcessExecutor.submit(() -> {
    try {
        compressImage(file);
    } catch (IOException e) {
        // 异常处理逻辑
    }
});

内容的提问来源于stack exchange，提问作者Chathuran D