RESTful API返回1GB超大JSON仅获部分内容，如何解除限制？

问题场景 #

开发的RESTful API在返回体积超过1GB的JSON时，出现内容截断现象（例如返回对象数组时仅能获取第一个元素）。初始实现代码如下：

[HttpPost]
[Route("rest/result")]
public IActionResult GetResult(string requestId)
{
    var item = _service.GetItem(requestId);
    return item?.Result == null ? NotFound() : Ok(item.Result);
}

尝试修改为直接序列化后返回字符串，看似能返回1GB的JSON，但不确定数据完整性，修改后的代码：

[HttpPost]
[Route("rest/result")]
public IActionResult GetResult(string requestId)
{
    var item = _service.GetItem(requestId);
    if (item?.Result == null)
    {
        return NotFound();
    }

    var json = JsonSerializer.Serialize(item.Result);
    return Content(json, "application/json");
}

解决方案 #

1. 调整全局配置，解除响应与序列化限制 #

默认的Ok()方法依赖框架内置的JSON序列化配置，存在缓冲区大小限制。需在项目启动配置中调整Kestrel服务器与JSON序列化参数：

// Program.cs 中的配置
var builder = WebApplication.CreateBuilder(args);

// 配置控制器的JSON序列化选项
builder.Services.AddControllers()
    .AddJsonOptions(options =>
    {
        // 关闭缩进可减少JSON体积（可选）
        options.JsonSerializerOptions.WriteIndented = false;
        // 增大序列化缓冲区大小，适配大对象
        options.OutputFormatterOptions.BufferWriterSize = 10 * 1024 * 1024; // 10MB，可按需调整
    });

// 配置Kestrel服务器，取消响应缓冲区限制
builder.WebHost.ConfigureKestrel(serverOptions =>
{
    // 取消响应缓冲区大小限制，允许返回超大响应
    serverOptions.Limits.MaxResponseBufferSize = null;
    // 如果请求体也较大，可同时取消请求大小限制（可选）
    serverOptions.Limits.MaxRequestBodySize = null;
});

var app = builder.Build();
// ... 其他中间件配置
app.MapControllers();
app.Run();

2. 采用流式序列化，避免内存过载 #

直接将对象序列化为字符串的方式会把整个1GB的JSON加载到内存，极易引发内存溢出。推荐使用流式序列化直接写入响应体，既避免截断，又降低内存压力：

[HttpPost]
[Route("rest/result")]
public async Task<IActionResult> GetResult(string requestId)
{
    var item = _service.GetItem(requestId);
    if (item?.Result == null)
    {
        return NotFound();
    }

    // 禁用响应缓存，防止代理或服务器缓存截断内容
    Response.Headers.CacheControl = "no-cache, no-store";
    // 设置响应内容类型
    Response.ContentType = "application/json";
    // 流式序列化对象到响应体
    await JsonSerializer.SerializeAsync(Response.Body, item.Result);
    // 返回空结果，因为已直接写入响应体
    return new EmptyResult();
}

3. 验证数据完整性 #

若需确保客户端获取的JSON完整，可采取以下方式：

• 添加Content-Length头：先将对象序列化到内存流获取长度，再写入响应体（注意：1GB数据会占用内存，仅在必要时使用）：

  using var ms = new MemoryStream();
  await JsonSerializer.SerializeAsync(ms, item.Result);
  Response.ContentLength = ms.Length;
  ms.Position = 0;
  await ms.CopyToAsync(Response.Body);
  return new EmptyResult();
  

• 返回哈希校验值：在响应头中添加对象的哈希值（如SHA256），客户端可自行计算接收内容的哈希进行对比。

关于尝试代码的说明 #

直接序列化后返回字符串的方式，绕开了Ok()方法的部分内置限制，但会将整个大JSON加载到内存，对于1GB级别的数据，存在严重的内存溢出风险，不推荐在生产环境使用。

内容的提问来源于stack exchange，提问作者Alireza Noori