C#使用CSVHelper读取CSV文件时校验编码是否为Shift-JIS的方法咨询

前置准备 #

• 首先安装NuGet包 System.Text.Encoding.CodePages，.NET Core及以上版本默认未包含东亚编码的注册，需要先引入该包
• 应用启动时全局注册编码提供程序，代码如下：

// 放在Program.cs或者应用启动入口处
Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);

核心实现逻辑 #

1. Shift-JIS编码校验方法 #

无需依赖第三方库的轻量校验逻辑，同时兼容带BOM和无BOM的文件场景：

public static bool IsShiftJisFile(string filePath)
{
    // 先读取前4个字节排除其他带BOM的编码
    var bom = new byte[4];
    using (var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
    {
        fs.Read(bom, 0, 4);
    }

    // 排除UTF-8、UTF-16、UTF-32等带BOM的编码
    if (bom[0] == 0xef && bom[1] == 0xbb && bom[2] == 0xbf) return false;
    if (bom[0] == 0xff && bom[1] == 0xfe) return false;
    if (bom[0] == 0xfe && bom[1] == 0xff) return false;
    if (bom[0] == 0xff && bom[1] == 0xfe && bom[2] == 0 && bom[3] == 0) return false;

    // 读取文件前1024个字节做Shift-JIS有效性校验，可根据需求调整长度提升准确率
    var buffer = new byte[1024];
    int readLength;
    using (var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
    {
        readLength = fs.Read(buffer, 0, buffer.Length);
    }

    // 设置解码异常抛出规则，存在不符合编码的字节时直接抛异常
    var shiftJis = Encoding.GetEncoding(932, new EncoderExceptionFallback(), new DecoderExceptionFallback());
    try
    {
        shiftJis.GetString(buffer, 0, readLength);
        return true;
    }
    catch (DecoderFallbackException)
    {
        return false;
    }
}

2. 结合CSVHelper使用示例 #

确认编码为Shift-JIS后直接指定编码读取文件即可：

string csvPath = "你的目标CSV文件路径.csv";
if (IsShiftJisFile(csvPath))
{
    var shiftJisEncoding = Encoding.GetEncoding(932);
    using (var reader = new StreamReader(csvPath, shiftJisEncoding))
    using (var csv = new CsvReader(reader, CultureInfo.InvariantCulture))
    {
        // 按业务需求读取CSV内容即可
        var records = csv.GetRecords<自定义映射类>().ToList();
    }
}
else
{
    // 编码不匹配的业务处理逻辑
}

注意事项 #

• 无BOM的编码检测无法做到100%准确，可根据业务场景调整校验时读取的字节长度，读取更多字节可提升校验准确率
• 如果需要更高的校验准确率，可补充日文常用字符的频率校验逻辑，Shift-JIS编码的日文常用字符出现频率有固定特征，可进一步降低误判概率

内容的提问来源于stack exchange，提问作者Quang Mẫn