使用JSON.Net流式验证并转储上传的大JSON文件

这是一个非常典型的大JSON文件处理场景，用Json.NET的流式API完全可以优雅解决——既避免把整个文件加载到内存，又能实时完成验证和转储。下面是具体的实现方案，分基础验证和扩展Schema验证两个版本：

1. 基础JSON有效性验证 + 流式转储 #

核心思路是用JsonTextReader逐节点读取输入流，同时用JsonTextWriter同步写出到目标存储，全程只在内存中保留当前处理的节点，内存占用极低。读取过程中如果遇到非法JSON，JsonTextReader会抛出JsonReaderException，刚好用来做格式有效性验证。

示例代码：

using Newtonsoft.Json;
using System.IO;

// 示例：本地文件转储，上传场景可以替换为HttpRequest.InputStream
using (var inputStream = new FileStream("large-input.json", FileMode.Open, FileAccess.Read))
using (var outputStream = new FileStream("target-storage/output.json", FileMode.Create, FileAccess.Write))
using (var reader = new JsonTextReader(new StreamReader(inputStream)))
using (var writer = new JsonTextWriter(new StreamWriter(outputStream)))
{
    try
    {
        // 逐节点遍历并写出
        while (reader.Read())
        {
            // 直接复制当前节点到输出流
            writer.WriteToken(reader);
        }
        Console.WriteLine("✅ JSON格式验证通过，转储完成");
    }
    catch (JsonReaderException ex)
    {
        Console.WriteLine($"❌ JSON格式无效：{ex.Message}，出错位置：行{ex.LineNumber}，列{ex.LinePosition}");
        // 这里可以添加错误处理：比如删除未完成的输出文件、记录告警日志等
    }
}

这段代码的优势：

• 内存占用稳定在KB级别，完全不受文件大小影响
• 验证和转储同步完成，不需要额外的中间步骤
• 错误提示精准，直接定位到出错的行和列

2. 扩展Schema验证（可选） #

如果需要更严格的结构验证（比如字段类型、必填项、枚举值等），可以用JsonSchemaValidatingReader包装JsonTextReader，实现流式Schema验证——不需要加载整个文档，边读边验证。

注意：需要单独安装Newtonsoft.Json.Schema NuGet包（和Json.NET版本保持一致）。

示例代码：

using Newtonsoft.Json;
using Newtonsoft.Json.Schema;
using System.IO;

// 先加载验证用的Schema（可以从文件、字符串或远程获取）
var schema = JsonSchema.Parse(File.ReadAllText("validation-schema.json"));

using (var inputStream = new FileStream("large-input.json", FileMode.Open, FileAccess.Read))
using (var outputStream = new FileStream("target-storage/output.json", FileMode.Create, FileAccess.Write))
using (var reader = new JsonTextReader(new StreamReader(inputStream)))
// 用验证包装器替换原始reader
using (var validatingReader = new JsonSchemaValidatingReader(reader) { Schema = schema })
using (var writer = new JsonTextWriter(new StreamWriter(outputStream)))
{
    bool isSchemaValid = true;
    // 订阅验证错误事件，实时捕获不符合Schema的内容
    validatingReader.ValidationEventHandler += (sender, args) =>
    {
        Console.WriteLine($"⚠️ Schema验证错误：{args.Message}，位置：行{args.LineNumber}，列{args.LinePosition}");
        isSchemaValid = false;
        // 如果遇到严重错误，可以设置args.Cancel = true直接中断处理
    };

    try
    {
        while (validatingReader.Read())
        {
            writer.WriteToken(validatingReader);
            // 验证失败后可以提前终止转储，避免无效写入
            if (!isSchemaValid)
            {
                Console.WriteLine("❌ Schema验证失败，终止转储");
                break;
            }
        }

        if (isSchemaValid)
        {
            Console.WriteLine("✅ JSON格式和Schema验证均通过，转储完成");
        }
    }
    catch (JsonReaderException ex)
    {
        Console.WriteLine($"❌ JSON格式无效：{ex.Message}");
    }
}

3. 上传场景的适配（比如ASP.NET） #

如果是Web上传场景，直接用请求的输入流即可，不需要先把文件保存到服务器本地，进一步优化性能：

using Microsoft.AspNetCore.Mvc;
using Newtonsoft.Json;
using System.IO;

public async Task<IActionResult> UploadAndStoreLargeJson()
{
    // 目标存储路径，也可以替换为云存储的上传流（比如Azure Blob、S3）
    var targetPath = "storage/large-upload.json";

    using (var reader = new JsonTextReader(new StreamReader(Request.Body)))
    using (var outputStream = new FileStream(targetPath, FileMode.Create, FileAccess.Write))
    using (var writer = new JsonTextWriter(new StreamWriter(outputStream)))
    {
        try
        {
            // 用异步方法避免阻塞线程
            while (await reader.ReadAsync())
            {
                await writer.WriteTokenAsync(reader);
            }
            return Ok(new { Status = "Success", Message = "文件上传、验证并存储完成" });
        }
        catch (JsonReaderException ex)
        {
            // 删除未完成的文件
            if (System.IO.File.Exists(targetPath)) System.IO.File.Delete(targetPath);
            return BadRequest(new { Status = "Error", Message = $"JSON格式错误：{ex.Message}" });
        }
    }
}

关键注意事项 #

• 一定要用using语句包裹流和读写器，确保资源自动释放，避免内存泄漏
• 如果需要修改JSON内容（比如过滤敏感字段、修改值），可以在reader.Read()之后、writer.WriteToken()之前处理当前节点（比如判断reader.TokenType、修改reader.Value等）
• 对于超大文件，可以调整StreamReader/StreamWriter的缓冲区大小（比如new StreamReader(inputStream, bufferSize: 65536)），提升IO性能
• Schema验证时，注意Schema的版本兼容性，尽量用和Json.NET匹配的Newtonsoft.Json.Schema版本

内容的提问来源于stack exchange，提问作者Matt Burland