Golang流式图片编解码可行性问询：能否避免全量内存加载？

结论：使用Go标准库无法实现流式的JPEG解码+编码，核心原因如下：

1. JPEG编码的特性限制 #

Go标准库的jpeg.Encode依赖image.Image接口完成编码，而这个接口要求必须能获取图像的完整尺寸和所有像素数据。JPEG编码过程中的分块DCT变换、量化等操作，在标准库的实现逻辑里需要基于完整的图像像素集合，无法仅通过部分像素块完成编码输出。

2. 标准库解码的设计限制 #

image.Decode的设计目标是将完整图像解码为内存中的image.Image实例，它不支持流式输出解码后的像素块。也就是说，必须等整张图像完全下载并解码完成，才能拿到可供编码的像素数据。

可行的替代方案 #

如果要降低内存占用、实现类流式处理，可以考虑以下方向：

• 同格式转码优化（原图像为JPEG）：直接操作JPEG码流，无需全量解码像素。比如调整质量时，修改码流中的量化表参数，避免将整张图像加载到内存（需熟悉JPEG格式规范，或借助第三方库）。
• 跨格式/必须解码场景：使用支持分块处理的第三方图像处理库，这类库会实现边解码边编码的逻辑，逐块处理图像数据，无需全量加载。

你提供的原代码（修正语法错误后） #

import (
    "errors"
    "io"
    "image"
    "image/jpeg"
)

func reencodeImage(imgReader io.Reader, imgWriter io.Writer) error {
    decodedImg, _, err := image.Decode(imgReader)
    if err != nil {
        return errors.Wrap(err, "error decoding image")
    }

    // whole image is currently in memory here as `decodedImg`

    if err := jpeg.Encode(imgWriter, decodedImg, &jpeg.Options{Quality: 90}); err != nil {
        return errors.Wrap(err, "failed to encode jpeg")
    }
    
    return nil
}

内容的提问来源于stack exchange，提问作者Rob Allsopp