Java中如何以流的方式读取JSON中的大Base64字符串值

核心思路 #

避免一次性加载整个Base64字符串到内存，利用JSON解析器的令牌流特性，分段读取目标字段的字符内容，同时实时对Base64内容进行流式解码并输出到目标流（如文件、网络流），全程仅保留小容量缓冲区，内存负载可控。

具体实现（以Jackson为例） #

关键步骤 #

• 配置JSON解析器为流式模式，禁用不必要的字符串缓存
• 遍历JSON令牌，定位到目标字段对应的VALUE_STRING令牌
• 通过readTextCharacters()分段读取Base64字符缓冲区
• 流式解码Base64内容并直接写入输出流

代码示例 #

import com.fasterxml.jackson.core.JsonFactory;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.core.JsonToken;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.nio.CharBuffer;
import java.nio.charset.Charset;
import java.util.Base64;

public class StreamBase64JsonReader {
    public static void main(String[] args) throws IOException {
        // 输入流：可以是HTTP请求体、文件流等
        try (InputStream inputStream = ...;
             // 输出流：目标文件或其他输出介质
             OutputStream outputStream = new FileOutputStream("decoded_large_file.bin");
             // 流式Base64解码包装流
             OutputStream decodedStream = Base64.getDecoder().wrap(outputStream);
             // 初始化流式JSON解析器
             JsonParser parser = new JsonFactory().createParser(inputStream)) {

            boolean isTargetField = false;
            while (parser.nextToken() != null) {
                // 定位目标字段名
                if (JsonToken.FIELD_NAME.equals(parser.getCurrentToken()) 
                    && "largeBase64Field".equals(parser.getText())) {
                    isTargetField = true;
                    continue;
                }

                // 处理目标字段的Base64值
                if (isTargetField && JsonToken.VALUE_STRING.equals(parser.getCurrentToken())) {
                    CharBuffer charBuffer;
                    // 分段读取字符缓冲区，直到读完整个字符串
                    while ((charBuffer = parser.readTextCharacters()) != null) {
                        // 将Base64字符（ASCII范围）转换为字节
                        byte[] segment = Charset.forName("UTF-8").encode(charBuffer).array();
                        // 写入解码流，实时解码输出
                        decodedStream.write(segment, 0, charBuffer.remaining());
                    }
                    // 重置标记，避免处理后续无关令牌
                    isTargetField = false;
                }

                // 其他字段可按需跳过或处理，不占用额外内存
            }
        }
    }
}

关键细节说明 #

• readTextCharacters()的作用：该方法返回当前字符串的分段CharBuffer，不会一次性将整个字符串加载到内存，是实现流式读取的核心。
• 流式Base64解码：Base64.getDecoder().wrap(outputStream)直接将解码后的数据写入输出流，无需缓存整个解码后的文件内容。
• 内存控制：整个过程中仅保留CharBuffer和字节数组的小段缓冲区（默认大小通常为几KB），内存占用与文件大小无关。

注意事项 #

• 确保目标字段的Base64内容是合法的ASCII字符集，避免编码转换错误。
• 若使用其他JSON解析库（如Gson），需找到对应支持分段读取字符串的API（Gson的JsonReader可通过自定义字符流处理实现分段读取）。

内容的提问来源于stack exchange，提问作者Jemox