如何高效解析Process输出的流式JSON并避免阻塞？

问题背景 #

通过Process类调用交互式应用，向其标准输入发送指令后，应用会输出大体积的多行JSON内容。当前遇到的问题：

• 用Peek()循环读取后解析JSON可行，但效率偏低；
• 直接将stdOut.BaseStream传入JsonDocument.Parse()会无限阻塞，因为交互式进程不会关闭输出流，StreamReader的EndOfStream不会标记结束；
• 希望JSON解析器能在输出产生时就开始解析，而非等待全部内容接收完毕，提升处理效率。

解决方案 #

1. 用Utf8JsonReader实现流式解析（核心方案） #

JsonDocument.Parse()需要完整的JSON数据才能解析，不适合边输出边处理的场景。推荐使用**Utf8JsonReader**，它支持逐字节流式解析，只要有部分数据可用就能开始处理，完美适配慢输出的交互式应用。

异步循环读取+流式解析示例

using System.Text;
using System.Text.Json;

async Task StreamParseProcessOutput(Process process)
{
    var stdOut = process.StandardOutput;
    char[] charBuffer = new char[4096];
    byte[] byteBuffer = new byte[4096];
    var decoder = Encoding.UTF8.GetDecoder();
    bool isFinalBlock = false;

    while (!process.HasExited)
    {
        // 检查是否有可用数据，避免无意义阻塞
        if (stdOut.Peek() == -1)
        {
            await Task.Delay(50); // 短暂等待，减少空轮询消耗
            continue;
        }

        // 异步读取一段字符
        int charsRead = await stdOut.ReadAsync(charBuffer, 0, charBuffer.Length);
        if (charsRead == 0)
        {
            isFinalBlock = true;
            break;
        }

        // 将字符转成UTF-8字节（Utf8JsonReader仅接受UTF-8字节）
        int bytesWritten = decoder.GetBytes(charBuffer, 0, charsRead, byteBuffer, 0, flush: false);
        var reader = new Utf8JsonReader(byteBuffer.AsSpan(0, bytesWritten), isFinalBlock: false);

        // 逐Token解析JSON
        while (reader.Read())
        {
            switch (reader.TokenType)
            {
                case JsonTokenType.StartObject:
                    // 处理对象开始逻辑
                    break;
                case JsonTokenType.PropertyName:
                    string propName = reader.GetString();
                    // 处理属性名
                    break;
                case JsonTokenType.String:
                    string value = reader.GetString();
                    // 处理字符串值
                    break;
                // 根据你的JSON结构，添加其他Token类型的处理逻辑
            }
        }
    }

    // 处理进程退出后剩余的最后一段数据
    if (!isFinalBlock)
    {
        int remainingChars = await stdOut.ReadAsync(charBuffer, 0, charBuffer.Length);
        int remainingBytes = decoder.GetBytes(charBuffer, 0, remainingChars, byteBuffer, 0, flush: true);
        var finalReader = new Utf8JsonReader(byteBuffer.AsSpan(0, remainingBytes), isFinalBlock: true);
        while (finalReader.Read())
        {
            // 完成剩余Token的解析
        }
    }
}

2. 逐行解析（适合每行一个独立JSON的场景） #

如果应用输出是每行一个完整JSON对象，可以直接利用Process的OutputDataReceived事件，逐行接收并解析，代码更简洁：

using System.Text.Json;

void SetupLineBasedParsing(Process process)
{
    process.OutputDataReceived += (sender, e) =>
    {
        // 忽略空行
        if (string.IsNullOrWhiteSpace(e.Data)) return;

        try
        {
            // 解析单行JSON
            using var jsonDoc = JsonDocument.Parse(e.Data);
            var rootElement = jsonDoc.RootElement;
            
            // 业务逻辑处理，比如提取字段
            string targetField = rootElement.GetProperty("fieldName").GetString();
            // ...
        }
        catch (JsonException ex)
        {
            // 处理解析错误（比如不完整的输出行）
            Console.WriteLine($"解析失败: {ex.Message}");
        }
    };

    // 启动异步读取
    process.BeginOutputReadLine();
}

3. 为什么直接传BaseStream会阻塞？ #

Process.StandardOutput对应的是管道流，只有当进程**关闭输出流（通常是进程退出）**时，流的EndOfStream才会返回true。而交互式进程会一直保持输出流打开，等待下一次指令，所以JsonDocument.Parse()会一直等待流结束，导致无限阻塞。

4. 关于自定义StreamReader的替代方案 #

不需要继承StreamReader，直接在读取逻辑中用stdOut.Peek() != -1判断是否有可用数据，结合短暂的异步等待，就能避免阻塞，同时实现非阻塞读取。

内容的提问来源于stack exchange，提问作者DS_London