C#中使用CsvHelper生成CSV出现乱码问题如何解决？

问题根源 #

1. 编码不统一：当前代码直接以UTF8编码追加写入文件，但如果目标文件原本是其他编码（如GBK、系统默认ANSI编码），新旧编码混合会导致乱码。
2. 换行判断逻辑缺陷：ContainsNewLines方法使用默认编码的StreamReader读取文件，若原文件编码不是系统默认编码，读取内容本身就会乱码，导致换行判断错误，进而引发写入格式问题。

解决方案 #

方案1：统一编码重新写入（推荐）

确保所有写入操作使用UTF8带BOM编码（兼容Excel等工具），每次写入时先读取原有记录，再合并新记录后统一写入，从根源避免编码混合问题。

修改后的代码：

using System.Globalization;
using System.Text;
using CsvHelper;

public async Task WriteAsync<T>(string path, T record)
{
    // 统一使用UTF8带BOM编码，兼容多数CSV读取工具
    var utf8WithBom = new UTF8Encoding(true);
    var records = new List<T>();

    // 如果文件已存在，用统一编码读取原有记录
    if (File.Exists(path))
    {
        using var stream = File.OpenRead(path);
        using var reader = new StreamReader(stream, utf8WithBom);
        using var csvReader = new CsvReader(reader, CultureInfo.InvariantCulture);
        records.AddRange(await csvReader.GetRecordsAsync<T>().ToListAsync());
    }

    // 添加新记录
    records.Add(record);

    // 重新写入整个文件，保证编码完全统一
    using var writeStream = File.OpenWrite(path);
    writeStream.SetLength(0); // 清空原有内容
    using var writer = new StreamWriter(writeStream, utf8WithBom);
    using var csvWriter = new CsvWriter(writer, CultureInfo.InvariantCulture);
    
    await csvWriter.WriteRecordsAsync(records);
    await writer.WriteLineAsync(); // 确保文件结尾有换行符
}

方案2：追加时匹配原文件编码（适合大文件）

如果文件体积过大，全量读取重写效率低，可以先检测原文件编码，再用相同编码追加写入。示例如下：

// 辅助方法：检测文件编码（简化实现，复杂场景需完善）
private Encoding DetectFileEncoding(string path)
{
    using var stream = File.OpenRead(path);
    var bom = new byte[4];
    stream.Read(bom, 0, 4);
    
    // 判断BOM
    if (bom[0] == 0xef && bom[1] == 0xbb && bom[2] == 0xbf) return Encoding.UTF8;
    if (bom[0] == 0xff && bom[1] == 0xfe) return Encoding.Unicode;
    if (bom[0] == 0xfe && bom[1] == 0xff) return Encoding.BigEndianUnicode;
    
    // 默认返回系统编码，或根据需求调整
    return Encoding.Default;
}

public async Task WriteAsync<T>(string path, T record)
{
    bool fileExists = File.Exists(path);
    var encoding = fileExists ? DetectFileEncoding(path) : new UTF8Encoding(true);
    
    using var stream = File.Open(path, fileExists ? FileMode.Append : FileMode.Create);
    using var writer = new StreamWriter(stream, encoding);
    using var csv = new CsvWriter(writer, CultureInfo.InvariantCulture);

    // 只有文件存在且结尾无换行时，才添加换行
    if (fileExists && !IsFileEndsWithNewLine(path, encoding))
    {
        await writer.WriteLineAsync();
    }

    if (!fileExists)
    {
        // 写入表头（如果需要）
        await csv.WriteHeaderAsync<T>();
        await csv.NextRecordAsync();
    }

    await csv.WriteRecordAsync(record);
    await csv.NextRecordAsync();
}

// 优化换行判断：通过读取文件末尾字节判断，避免全量读取
private bool IsFileEndsWithNewLine(string path, Encoding encoding)
{
    using var stream = File.OpenRead(path);
    if (stream.Length == 0) return false;
    
    // 根据编码判断换行字节长度
    var newlineBytes = encoding.GetBytes(Environment.NewLine);
    stream.Position = stream.Length - newlineBytes.Length;
    
    var buffer = new byte[newlineBytes.Length];
    stream.Read(buffer, 0, buffer.Length);
    
    return buffer.SequenceEqual(newlineBytes);
}

关键注意事项 #

• 优先使用UTF8带BOM：Excel等常用工具默认识别带BOM的UTF8编码，避免打开CSV时出现乱码。
• 避免编码混合写入：直接追加不同编码的内容是乱码的核心原因，统一编码或匹配原编码才能解决问题。
• 优化换行判断逻辑：不要读取整个文件判断换行，通过读取末尾字节的方式更高效且避免编码读取错误。

内容的提问来源于stack exchange，提问作者Md. Mustafizur Rahman