CSVHelper读取编码未知的UTF-8/Windows-1251文件的解决方案咨询

可行方案 #

• 编码自动探测
  预先读取文件的字节流，通过编码特征判断具体类型。仅需处理两种编码的场景下，可优先检查字节流是否符合UTF-8编码规则，符合则用UTF-8解析，否则降级使用Windows-1251解析。
• 优先级重试解析
  先按UTF-8编码尝试解析CSV，若出现解析异常、乱码占位符（如�）或字段内容不符合预期，则切换为Windows-1251编码重试解析。因为仅存在两种候选编码，重试成本极低，是兼容性最高的方案。
• BOM自动检测+兜底
  利用StreamReader自带的BOM检测能力识别带BOM的UTF-8文件，无BOM的场景下再搭配重试逻辑兜底。

注意事项 #

.NET Core/.NET 5及以上版本默认未内置Windows-1251编码，需要先安装NuGet包System.Text.Encoding.CodePages，并在程序启动时全局注册编码提供程序：

Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);

参考实现代码 #

// 候选编码列表，按优先级排列
var encodingsToTry = new List<Encoding>
{
    Encoding.UTF8,
    Encoding.GetEncoding(1251)
};

List<object> records = null;
var csvReaderConfig = new CsvConfiguration(CultureInfo.InvariantCulture)
{
    Delimiter = ";",
    BadDataFound = null,
    MissingFieldFound = null
};

foreach (var encoding in encodingsToTry)
{
    try
    {
        using (var reader = new StreamReader(path, encoding, detectEncodingFromByteOrderMarks: true))
        using (var csv = new CsvReader(reader, csvReaderConfig))
        {
            records = csv.GetRecords<object>().ToList();
            // 额外校验：检查读取到的内容是否包含乱码占位符，存在则继续重试
            if (records.Any(r => r.ToString()?.Contains('�') ?? false))
            {
                records = null;
                continue;
            }
            break;
        }
    }
    catch
    {
        // 当前编码解析失败，继续尝试下一个编码
        continue;
    }
}

if (records == null)
{
    // 两种编码都解析失败的异常处理逻辑
    throw new InvalidOperationException("文件编码不在支持范围内，无法解析");
}

内容的提问来源于stack exchange，提问作者JonnyJon44