使用Newtonsoft.Json反序列化大byte[]的HTTP响应时抛出OutOfMemoryException
问题根因
Newtonsoft.Json 对 byte[] 类型字段的默认反序列化逻辑,要求先将字段对应的Base64字符串全量加载到内存缓冲区,再一次性执行Base64解码生成字节数组,这个流程的内存开销会随Base64内容的长度线性增长。
从提供的异常堆栈可以定位到具体触发点:
- 解析到Document字段时,
JsonTextReader.ReadAsBytes()触发ReadStringIntoBuffer()流程 - 该流程会不断申请扩容内存缓冲区,直到完整容纳整个超长Base64字符串
- 当Base64字符串长度达到几十MB甚至GB级时,单是为了容纳这个字符串申请连续内存块,就会触发
OutOfMemoryException - 额外的内存放大效应:Base64编码本身比原始字节大33%,加上Newtonsoft内部的字符串缓冲区、解码生成的byte[]数组,单字段就会占用接近2倍原始字节的连续托管内存,32位进程下很容易触发地址空间不足的OOM。
之前尝试的两种实现都没有绕开这个核心问题:
- 第一版直接调用
ReadToEnd()会将整个HTTP响应的文本内容全量加载为单个字符串,叠加了全响应字符串的额外内存开销- 第二版改用
JsonTextReader流式读取,只是降低了HTTP网络流的读取缓冲,但是碰到长Base64字段时,依然会走默认的全量字符串缓冲逻辑,因此OOM问题不会解决。
解决方案
方案1:自定义Base64增量解码逻辑,避免全量加载字符串
绕开Newtonsoft默认的“先存整个Base64字符串再解码”的流程,边从源流读取Base64字符块,边用 FromBase64Transform 做增量解码,直接把解码后的字节块写入目标位置(内存流/临时文件流),全程不保留完整的Base64字符串副本,内存占用会从“和内容长度正相关”降到和固定读取块大小相关的常数级。
参考实现:
- 自定义JsonConverter绑定到大字段,重写解码逻辑:
public class LargeBase64Converter : JsonConverter { public override object ReadJson(JsonReader reader, Type objectType, object existingValue, JsonSerializer serializer) { if (reader.TokenType != JsonToken.String) return null; // 直接获取JsonTextReader内部的底层StreamReader,避免调用默认的ReadAsString全量取字符串 var internalReader = typeof(JsonTextReader) .GetField("_reader", System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.Instance) .GetValue(reader) as StreamReader; // 用固定大小的缓冲区做增量解码,输出到可释放的流 var outputStream = new MemoryStream(); var base64Transform = new FromBase64Transform(FromBase64TransformMode.IgnoreWhiteSpaces); Span<char> readBuffer = stackalloc char[81920]; // 固定80K字符块 int readChars; while ((readChars = internalReader.Read(readBuffer)) > 0) { // 对当前块的Base64字符做解码,直接写入输出流 var tempBytes = Encoding.UTF8.GetBytes(readBuffer.Slice(0, readChars)); var transformedBytes = base64Transform.TransformBlock(tempBytes, 0, tempBytes.Length, tempBytes, 0); outputStream.Write(tempBytes.AsSpan(0, transformedBytes)); } outputStream.Position = 0; return outputStream; } public override bool CanConvert(Type objectType) => objectType == typeof(Stream); public override bool CanWrite => false; public override void WriteJson(JsonWriter writer, object value, JsonSerializer serializer) => throw new NotImplementedException(); } - 调整实体类定义,将原本的byte[]字段改为Stream类型,并绑定自定义Converter:
public class Doc { public Guid Id { get; set; } [JsonConverter(typeof(LargeBase64Converter))] public Stream Document { get; set; } }
这个方案的内存占用和Document字段的大小无关,哪怕是GB级的内容也只会占用固定几十K的缓冲区内存,是解决该问题的根本方案。
注意:使用Stream类型的Document字段后,不要在后续业务逻辑里直接把整个Stream转成byte[],否则会重新引入大数组的内存开销,应直接对Stream做流式读写(比如写入磁盘、上传对象存储等)。
方案2:临时缓解配置(非根治)
如果不想修改代码逻辑,可以通过调整运行环境临时降低OOM触发概率:
- 将进程编译为64位运行,解除32位进程默认2GB的连续内存上限
- 为Newtonsoft配置自定义大页ArrayPool,减少托管堆的内存碎片化
注意:该方案仅在内容大小不超过进程可寻址内存上限时生效,当Base64内容本身达到几十GB时,依然会因为申请连续内存块失败抛出OOM。
内容的提问来源于stack exchange,提问作者ChinnaR
相关产品推荐
相关产品推荐

