如何分析字节获取文件编码，优化C#文本读取逻辑？

问题描述 #

现有C#代码如下：

public string[] AbrirArquivo(byte[] Arquivo)
{
    var arquivoTxt = new StreamReader(new MemoryStream(Arquivo), Encoding.GetEncoding("utf-8")).ReadToEnd();
    var linhas = arquivoTxt.Split('\n');
    return linhas;
}

希望在var arquivoTxt之前新增变量存储Arquivo对应的字符编码，替换硬编码的utf-8优化逻辑，但不知道如何获取byte数组的编码。目前非英语用户上传ANSI编码文件时会出现特殊字符乱码，急需解决该问题。

解决方案 #

C#中可以通过系统API结合编码试探的方式处理编码识别，以下是优化后的代码：

public string[] AbrirArquivo(byte[] Arquivo)
{
    // 优先通过字节顺序标记（BOM）识别编码
    Encoding encoding = Encoding.DetectEncodingFromByteOrderMarks(Arquivo);
    
    // 无BOM时，按业务优先级试探编码（可根据需求调整顺序）
    if (encoding == null)
    {
        // 先尝试UTF-8，验证内容合理性
        try
        {
            string tempContent = Encoding.UTF8.GetString(Arquivo);
            // 简单验证是否存在异常控制字符，判断是否为有效UTF-8
            bool hasInvalidChars = tempContent.Any(c => char.IsControl(c) && !char.IsWhiteSpace(c));
            encoding = hasInvalidChars ? Encoding.Default : Encoding.UTF8;
        }
        catch
        {
            // 试探失败则 fallback 到系统默认ANSI编码（对应本地系统代码页）
            encoding = Encoding.Default;
        }
    }

    var arquivoTxt = new StreamReader(new MemoryStream(Arquivo), encoding).ReadToEnd();
    var linhas = arquivoTxt.Split('\n');
    return linhas;
}

关键说明 #

• 带BOM的编码识别：Encoding.DetectEncodingFromByteOrderMarks能精准识别UTF-8、UTF-16、UTF-32这类带BOM的编码，这是最可靠的识别方式；
• 无BOM的ANSI编码：ANSI编码依赖系统代码页（比如中文是GBK、西欧是ISO-8859-1），没有统一的识别标准，只能通过业务场景预设编码优先级，或让用户上传时主动指定编码；
• 进阶优化：如果需要更精准的无BOM编码识别，可以使用第三方字符集检测库，但需注意项目依赖限制。

内容的提问来源于stack exchange，提问作者Dev_Edimar FUll stack