如何从字节数组还原不同编码的文本文件并确定源编码？

这确实是处理多编码文件时非常头疼的问题，我来分享几个实用的方案帮你准确识别文件编码，还原原始文本：

你提到的UTF-8、UCS2 LE（也就是UTF-16 LE）这类编码大多带有标准的BOM标识，这是最准确的判断方式，没有任何歧义：

• UTF-8 BOM：字节数组前3个字节是 0xEF, 0xBB, 0xBF
• UTF-16 LE BOM：字节数组前2个字节是 0xFF, 0xFE
• 其他常见BOM比如UTF-16 BE是0xFE, 0xFF，UTF-32 LE是0xFF, 0xFE, 0x00, 0x00，可以按需扩展检测逻辑

这里给你一段C#代码实现BOM检测：

public static Encoding DetectEncodingFromBom(byte[] fileBytes)
{
    if (fileBytes.Length >= 3 
        && fileBytes[0] == 0xEF 
        && fileBytes[1] == 0xBB 
        && fileBytes[2] == 0xBF)
    {
        return Encoding.UTF8;
    }
    
    if (fileBytes.Length >= 2)
    {
        if (fileBytes[0] == 0xFF && fileBytes[1] == 0xFE)
        {
            return Encoding.Unicode; // 对应UTF-16 LE，也就是你说的UCS2 LE
        }
        if (fileBytes[0] == 0xFE && fileBytes[1] == 0xFF)
        {
            return Encoding.BigEndianUnicode; // UTF-16 BE
        }
    }
    
    // 可以继续添加其他BOM的检测逻辑，比如UTF-32等
    return null; // 未检测到标准BOM
}

有BOM的文件直接用这个方法就能100%确定编码，所以一定要优先走这个流程。

如果文件没有BOM，就只能通过字节模式和编码特性来推测了。这里给你一个基于“编码-解码-再编码验证”的思路：如果用某个编码解码后，再把字符串编码回字节数组和原数组完全一致，那这个编码就是正确的——毕竟错误编码解码出来的乱码，再编码回去肯定和原字节不一样。

示例代码如下：

public static Encoding DetectEncodingWithoutBom(byte[] fileBytes)
{
    // 先尝试UTF-8（现在无BOM的文本文件大多是UTF-8）
    try
    {
        var decodedStr = Encoding.UTF8.GetString(fileBytes);
        var reEncodedBytes = Encoding.UTF8.GetBytes(decodedStr);
        if (reEncodedBytes.SequenceEqual(fileBytes))
        {
            return Encoding.UTF8;
        }
    }
    catch { }

    // 尝试UTF-16 LE（UCS2 LE）
    try
    {
        var decodedStr = Encoding.Unicode.GetString(fileBytes);
        var reEncodedBytes = Encoding.Unicode.GetBytes(decodedStr);
        if (reEncodedBytes.SequenceEqual(fileBytes))
        {
            return Encoding.Unicode;
        }
    }
    catch { }

    // 可以根据你的业务场景，添加其他常见编码的检测，比如GB2312、GBK、ASCII等
    try
    {
        var gb2312Encoding = Encoding.GetEncoding("GB2312");
        var decodedStr = gb2312Encoding.GetString(fileBytes);
        var reEncodedBytes = gb2312Encoding.GetBytes(decodedStr);
        if (reEncodedBytes.SequenceEqual(fileBytes))
        {
            return gb2312Encoding;
        }
    }
    catch { }

    // 如果所有尝试都失败，返回一个默认编码（比如UTF-8）或者抛出异常，按需处理
    return Encoding.UTF8;
}

如果你的文件包含很多罕见编码，或者需要更高精度的检测，可以用专门的编码检测库，比如UtfUnknown（它支持几十种编码的检测，准确率很高）。

用法很简单，先通过NuGet安装包，然后写代码：

var detector = new CharsetDetector();
detector.Feed(fileBytes);
detector.DataEnd();

if (!string.IsNullOrEmpty(detector.Charset))
{
    var targetEncoding = Encoding.GetEncoding(detector.Charset);
    var originalText = targetEncoding.GetString(fileBytes);
    // 处理还原后的文本
}

1. 先调用DetectEncodingFromBom检测BOM，有结果直接用对应编码解码；
2. 无BOM的情况下，调用DetectEncodingWithoutBom尝试常见编码；
3. 如果还是无法确定，引入第三方库做专业检测。

另外补充一点：UCS2本质上是UTF-16的子集（只包含基本多语言平面的字符），所以用Encoding.Unicode（对应UTF-16 LE）解码UCS2 LE的文件完全兼容，不用担心兼容性问题。

内容的提问来源于stack exchange，提问作者pitersmx