如何用JsonParser流式处理JSON中嵌入的大型Base64编码文件？

这个场景我太熟悉了——把1GB级的Base64嵌在JSON里，用常规的getString()直接就把内存撑爆了。核心问题就是JsonParser的getString()会一次性把整个Base64字符串加载到内存，完全违背了流式处理的初衷。下面给你几个实战有效的解决方案：

方案1：用JsonParser的流式API逐段读取Base64内容 #

不要调用getString()，而是利用JsonParser的文本字符流读取能力，每次只读取一小段Base64字符，解码后直接写入输出流，全程内存只保留缓冲区大小的数据。

以Jackson的JsonParser为例，代码示例如下：

// 从输入流创建JsonParser，避免先加载整个JSON到内存
JsonParser parser = new JsonFactory().createParser(inputStream);
Base64.Decoder decoder = Base64.getDecoder();

while (parser.nextToken() != null) {
    String currentField = parser.getCurrentName();
    // 定位到目标Base64字段
    if ("file".equals(currentField) || "file2".equals(currentField)) {
        parser.nextToken(); // 切换到字符串值的token
        
        // 定义缓冲区大小，根据内存情况调整（比如8KB/16KB）
        char[] buffer = new char[8192];
        int charsRead;
        
        // 打开输出流，直接写入解码后的文件
        try (OutputStream outputStream = new FileOutputStream(currentField + "_output.dat")) {
            while ((charsRead = parser.getTextCharacters(0, buffer)) != -1) {
                // 解码当前段Base64并写入输出
                byte[] decodedBytes = decoder.decode(new String(buffer, 0, charsRead));
                outputStream.write(decodedBytes);
            }
        } catch (IOException e) {
            // 处理异常
            e.printStackTrace();
        }
    }
    // 其他字段可以按需处理，或者直接跳过
}

parser.close();

这里的关键是getTextCharacters()方法，它会把当前字符串的字符填充到你提供的缓冲区里，返回实际读取的字符数，直到字符串结束。这样内存占用始终是缓冲区的大小，不会随文件体积增长。

方案2：自定义流式反序列化器（针对Jackson） #

如果你用Jackson的ObjectMapper，可以自定义一个Deserializer，在反序列化时直接处理Base64流，而不是把整个字符串加载到内存。

示例大致思路：

public class LargeFileDeserializer extends JsonDeserializer<File> {
    @Override
    public File deserialize(JsonParser p, DeserializationContext ctxt) throws IOException {
        Base64.Decoder decoder = Base64.getDecoder();
        File outputFile = File.createTempFile("large_", ".dat");
        
        try (OutputStream output = new FileOutputStream(outputFile)) {
            char[] buffer = new char[8192];
            int charsRead;
            while ((charsRead = p.getTextCharacters(0, buffer)) != -1) {
                byte[] decoded = decoder.decode(new String(buffer, 0, charsRead));
                output.write(decoded);
            }
        }
        return outputFile;
    }
}

然后在你的POJO类的file字段上标注@JsonDeserialize(using = LargeFileDeserializer.class)，这样ObjectMapper在反序列化时就会调用这个自定义处理器，流式处理Base64内容。

方案3：（可选）调整输入结构 #

如果你的业务允许，最好的办法其实是把大文件从JSON里抽出来，单独存储（比如本地文件、对象存储），JSON里只保留文件的路径或唯一标识。这样既避免了JSON体积过大，也从根源上解决了内存问题——当然这个前提是你能控制输入数据的结构。

核心原则总结 #

不管用哪种方案，核心都是避免一次性加载整个Base64字符串到内存，通过“逐段读取→逐段解码→逐段写入”的流式处理方式，把内存占用控制在可接受的范围内。

内容的提问来源于stack exchange，提问作者Oxnard