You need to enable JavaScript to run this app. 使用Newtonsoft.Json反序列化大byte[]的HTTP响应时抛出OutOfMemoryException
优惠活动
大模型
产品
解决方案
定价
更多

使用Newtonsoft.Json反序列化大byte[]的HTTP响应时抛出OutOfMemoryException

问题根因

Newtonsoft.Json 对 byte[] 类型字段的默认反序列化逻辑,要求先将字段对应的Base64字符串全量加载到内存缓冲区,再一次性执行Base64解码生成字节数组,这个流程的内存开销会随Base64内容的长度线性增长。
从提供的异常堆栈可以定位到具体触发点:

  • 解析到Document字段时,JsonTextReader.ReadAsBytes() 触发 ReadStringIntoBuffer() 流程
  • 该流程会不断申请扩容内存缓冲区,直到完整容纳整个超长Base64字符串
  • 当Base64字符串长度达到几十MB甚至GB级时,单是为了容纳这个字符串申请连续内存块,就会触发 OutOfMemoryException
  • 额外的内存放大效应:Base64编码本身比原始字节大33%,加上Newtonsoft内部的字符串缓冲区、解码生成的byte[]数组,单字段就会占用接近2倍原始字节的连续托管内存,32位进程下很容易触发地址空间不足的OOM。

之前尝试的两种实现都没有绕开这个核心问题:

  • 第一版直接调用 ReadToEnd() 会将整个HTTP响应的文本内容全量加载为单个字符串,叠加了全响应字符串的额外内存开销
  • 第二版改用 JsonTextReader 流式读取,只是降低了HTTP网络流的读取缓冲,但是碰到长Base64字段时,依然会走默认的全量字符串缓冲逻辑,因此OOM问题不会解决。
解决方案

方案1:自定义Base64增量解码逻辑,避免全量加载字符串

绕开Newtonsoft默认的“先存整个Base64字符串再解码”的流程,边从源流读取Base64字符块,边用 FromBase64Transform 做增量解码,直接把解码后的字节块写入目标位置(内存流/临时文件流),全程不保留完整的Base64字符串副本,内存占用会从“和内容长度正相关”降到和固定读取块大小相关的常数级。
参考实现:

  1. 自定义JsonConverter绑定到大字段,重写解码逻辑:
    public class LargeBase64Converter : JsonConverter
    {
        public override object ReadJson(JsonReader reader, Type objectType, object existingValue, JsonSerializer serializer)
        {
            if (reader.TokenType != JsonToken.String) return null;
            
            // 直接获取JsonTextReader内部的底层StreamReader,避免调用默认的ReadAsString全量取字符串
            var internalReader = typeof(JsonTextReader)
                .GetField("_reader", System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.Instance)
                .GetValue(reader) as StreamReader;
            
            // 用固定大小的缓冲区做增量解码,输出到可释放的流
            var outputStream = new MemoryStream();
            var base64Transform = new FromBase64Transform(FromBase64TransformMode.IgnoreWhiteSpaces);
            Span<char> readBuffer = stackalloc char[81920]; // 固定80K字符块
            int readChars;
            
            while ((readChars = internalReader.Read(readBuffer)) > 0)
            {
                // 对当前块的Base64字符做解码,直接写入输出流
                var tempBytes = Encoding.UTF8.GetBytes(readBuffer.Slice(0, readChars));
                var transformedBytes = base64Transform.TransformBlock(tempBytes, 0, tempBytes.Length, tempBytes, 0);
                outputStream.Write(tempBytes.AsSpan(0, transformedBytes));
            }
            outputStream.Position = 0;
            return outputStream;
        }
    
        public override bool CanConvert(Type objectType) => objectType == typeof(Stream);
        public override bool CanWrite => false;
        public override void WriteJson(JsonWriter writer, object value, JsonSerializer serializer) => throw new NotImplementedException();
    }
    
  2. 调整实体类定义,将原本的byte[]字段改为Stream类型,并绑定自定义Converter:
    public class Doc
    {
        public Guid Id { get; set; }
        [JsonConverter(typeof(LargeBase64Converter))]
        public Stream Document { get; set; }
    }
    

这个方案的内存占用和Document字段的大小无关,哪怕是GB级的内容也只会占用固定几十K的缓冲区内存,是解决该问题的根本方案。

注意:使用Stream类型的Document字段后,不要在后续业务逻辑里直接把整个Stream转成byte[],否则会重新引入大数组的内存开销,应直接对Stream做流式读写(比如写入磁盘、上传对象存储等)。

方案2:临时缓解配置(非根治)

如果不想修改代码逻辑,可以通过调整运行环境临时降低OOM触发概率:

  • 将进程编译为64位运行,解除32位进程默认2GB的连续内存上限
  • 为Newtonsoft配置自定义大页ArrayPool,减少托管堆的内存碎片化
    注意:该方案仅在内容大小不超过进程可寻址内存上限时生效,当Base64内容本身达到几十GB时,依然会因为申请连续内存块失败抛出OOM。

内容的提问来源于stack exchange,提问作者ChinnaR

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 19:24:02