C#中逆向读取文本时如何检测UTF-8无效字节？

可以实现该需求，核心在于利用UTF-8编码规则检测有效字符的起始位置，同时通过分段正向读取流的方式模拟反向读取逻辑。

问题分析 #

1. 流仅支持正向读取：可以通过从流的末尾向前分段定位、读取缓冲区的方式解决，每次读取时预留额外字节（UTF-8最长4字节）避免字符截断。
2. 缓冲区首字节可能不是字符起始：UTF-8编码有明确的字节特征，可直接通过字节位规则判断是否为有效字符起始。

UTF-8字节特征规则 #

• 单字节字符：起始字节最高位为0（二进制0xxxxxxx）
• 多字节字符起始字节：
  • 2字节：110xxxxx（十六进制0xC0-0xDF）
  • 3字节：1110xxxx（十六进制0xE0-0xEF）
  • 4字节：11110xxx（十六进制0xF0-0xF7）
• 多字节后续字节：10xxxxxx（十六进制0x80-0xBF），这类字节不能作为字符起始。

具体实现 #

1. 检测缓冲区中第一个有效字符起始位置 #

private static int FindFirstValidUtf8StartIndex(ReadOnlySpan<byte> buffer)
{
    for (int i = 0; i < buffer.Length; i++)
    {
        byte b = buffer[i];
        // 判断是否为UTF-8字符的合法起始字节
        if ((b & 0x80) == 0) // 单字节字符
            return i;
        if ((b & 0xE0) == 0xC0) // 2字节字符起始
            return i;
        if ((b & 0xF0) == 0xE0) // 3字节字符起始
            return i;
        if ((b & 0xF8) == 0xF0) // 4字节字符起始
            return i;
        // 否则为多字节后续字节，跳过
    }
    // 极端情况：缓冲区全为无效后续字节（返回-1表示无有效起始）
    return -1;
}

2. 从流末尾向前读取文本的完整逻辑 #

通过分段读取流的方式，每次从当前位置向前读取一段缓冲区（预留4字节避免截断），调整到有效起始位置后解码，逐步向前遍历整个流：

public static async IAsyncEnumerable<string> ReadTextBackwardsAsync(Stream stream, int bufferSize = 1024, Encoding encoding = null)
{
    encoding ??= Encoding.UTF8;
    long currentPosition = stream.Length;
    // 预留4字节空间，处理多字节字符的边界截断问题
    byte[] buffer = new byte[bufferSize + 4];

    while (currentPosition > 0)
    {
        // 计算读取起始位置：最多向前读取bufferSize+4字节，不小于流的起始位置
        long readStart = Math.Max(0, currentPosition - bufferSize - 4);
        int bytesToRead = (int)(currentPosition - readStart);
        
        stream.Position = readStart;
        int bytesRead = await stream.ReadAsync(buffer, 0, bytesToRead);
        if (bytesRead == 0)
            break;

        ReadOnlySpan<byte> bufferSpan = buffer.AsSpan(0, bytesRead);
        int validStartIndex = FindFirstValidUtf8StartIndex(bufferSpan);
        
        if (validStartIndex == -1)
        {
            // 极端情况：当前读取的所有字节均为无效后续字节，直接跳过
            currentPosition = readStart;
            continue;
        }

        // 截取有效字节段并解码
        ReadOnlySpan<byte> validSpan = bufferSpan.Slice(validStartIndex);
        string segment = encoding.GetString(validSpan);
        
        // 返回当前段文本（若需从后往前逐个字符，可对segment反转后返回）
        yield return segment;
        
        // 更新当前位置，继续向前读取
        currentPosition = readStart + validStartIndex;
    }
}

关于DecoderFallbackBuffer报错的说明 #

你之前的代码报错是因为DecoderReplacementFallbackBuffer.Fallback不支持递归调用，该机制设计用于解码错误时的替换逻辑，而非检测字符起始位置。直接利用UTF-8编码规则检测起始字节，不仅更高效，也能避免这类API使用误区。

内容的提问来源于stack exchange，提问作者John