.NET中System.Text.Decoder.Convert在字符中途返回completed=true问题

我之前也踩过这个坑！当处理分块获取的UTF-8字节序列时，System.Text.Decoder.Convert()确实会出现明明还有未完成的部分字符，却错误返回completed==true的情况，这完全违背了我们对这个参数的预期——毕竟它本该用来标记是否所有输入都被完全解码、没有残留的半字符。

问题根源 #

这个问题和UTF-8的多字节编码特性以及Decoder内部的状态逻辑有关。简单来说，completed参数的判断逻辑有时候会忽略“后续可能还有字节补充来组成完整字符”的情况，误判当前输入已经处理完毕，没有残留状态。

可靠解决方案：手动维护残留字节缓冲区 #

不要单纯依赖completed参数，而是通过跟踪已处理的字节数来判断是否有未完成的字符，同时维护一个缓冲区保存这些残留字节，下次解码时和新字节合并处理。下面是具体的实现代码：

// 初始化全局/类级别的解码器和残留字节缓冲区
private readonly Decoder _utf8Decoder = Encoding.UTF8.GetDecoder();
private readonly List<byte> _remainingPartialBytes = new List<byte>();

public string DecodeUtf8Chunk(byte[] newBytes)
{
    // 合并残留字节与新接收的字节
    byte[] combinedBytes = _remainingPartialBytes.Concat(newBytes).ToArray();
    _remainingPartialBytes.Clear();

    // 预估需要的字符缓冲区大小
    char[] charBuffer = new char[_utf8Decoder.GetCharCount(combinedBytes, 0, combinedBytes.Length)];
    
    int bytesProcessed;
    int charsDecoded;
    bool completedFlag;

    // 执行解码
    _utf8Decoder.Convert(
        combinedBytes, 0, combinedBytes.Length,
        charBuffer, 0, charBuffer.Length,
        flush: false,
        out bytesProcessed,
        out charsDecoded,
        out completedFlag
    );

    // 如果有未处理完的字节（说明是不完整的UTF-8字符），保存到残留缓冲区
    if (bytesProcessed < combinedBytes.Length)
    {
        _remainingPartialBytes.AddRange(combinedBytes.Skip(bytesProcessed));
    }

    // 返回本次解码出的完整字符串
    return new string(charBuffer, 0, charsDecoded);
}

方案说明 #

1. 残留字节缓冲区：每次解码前，先把上一次剩下的不完整字节和新字节合并，确保不会遗漏跨块的完整字符。
2. 不依赖completed参数：通过对比bytesProcessed和输入总字节数，判断是否有未处理的半字符——如果bytesProcessed小于总字节数，就把剩下的字节存起来，等待下一次解码。
3. flush参数设为false：这个参数告诉Decoder不要强制刷新内部状态，保留可能的半字符状态，配合我们的手动残留管理更可靠。

替代方案：使用StreamReader简化处理 #

如果你不想手动管理缓冲区，可以直接用StreamReader，它内部已经封装了分块UTF-8解码的逻辑，自动处理跨块字符：

private readonly MemoryStream _bufferStream = new MemoryStream();
private readonly StreamReader _utf8Reader = new StreamReader(new MemoryStream(), Encoding.UTF8);

public string DecodeUtf8ChunkWithStreamReader(byte[] newBytes)
{
    _bufferStream.Write(newBytes, 0, newBytes.Length);
    _bufferStream.Position = 0;
    
    string decodedText = _utf8Reader.ReadToEnd();
    
    // 把未读取的残留字节放回流的开头，供下次使用
    byte[] remaining = _bufferStream.ToArray().Skip((int)_bufferStream.Position).ToArray();
    _bufferStream.SetLength(0);
    _bufferStream.Write(remaining, 0, remaining.Length);
    
    return decodedText;
}

总结 #

核心思路就是不要轻信Decoder.Convert()返回的completed参数，而是通过实际处理的字节数来判断是否有残留的半字符。手动维护残留缓冲区的方式更灵活可控，而StreamReader则能帮你省去手动管理的麻烦，根据你的场景选择即可。

内容的提问来源于stack exchange，提问作者William