如何通过CSVHelper的BadDataFound处理解析复杂行生成额外列问题

针对你遇到的CSV解析问题——部分行因特殊值生成额外列触发BadDataFound，同时需要去除内容内部的双引号和逗号适配SSIS，以下是具体实现方案：

核心思路 #

1. 通过CsvConfiguration配置解析规则，注册BadDataFound事件捕获脏数据行
2. 在事件回调中区分两种脏数据场景：
   • 列数超出预期（148列）：特殊值导致的格式混乱，需清洗原始行数据
   • 普通脏数据：按原有逻辑处理（如跳过或标记）
3. 清洗逻辑：移除行内所有内部双引号和逗号，确保SSIS能正确解析

代码实现 #

using CsvHelper;
using CsvHelper.Configuration;
using System.Globalization;
using System.IO;
using System.Text;
using System.Collections.Generic;

// 对应CSV的148列实体（需根据实际字段定义完整属性）
public class PartnerCsvRecord
{
    public string Column1 { get; set; }
    public string Column2 { get; set; }
    // ... 剩余146个字段属性
}

public static class CsvProcessor
{
    public static List<PartnerCsvRecord> ProcessCsv(string filePath)
    {
        var config = new CsvConfiguration(CultureInfo.InvariantCulture)
        {
            Delimiter = ",",
            Quote = '"',
            TrimOptions = TrimOptions.Trim,
            AllowComments = false
        };

        var records = new List<PartnerCsvRecord>();

        using var reader = new StreamReader(filePath);
        using var csv = new CsvReader(reader, config);

        // 注册BadDataFound事件处理逻辑
        csv.Context.BadDataFound = args =>
        {
            var rawLine = args.RawRecord;
            var currentColumnCount = csv.Context.Parser.Count;

            // 判断是否为额外列导致的脏数据
            if (currentColumnCount > 148)
            {
                var cleanedLine = CleanInternalSpecialChars(rawLine);
                
                // 重新解析清洗后的行
                using var stringReader = new StringReader(cleanedLine);
                using var tempCsv = new CsvReader(stringReader, config);
                if (tempCsv.Read())
                {
                    var record = tempCsv.GetRecord<PartnerCsvRecord>();
                    record?.Let(records.Add);
                }
            }
            else
            {
                // 其他BadData场景：按业务需求处理（如跳过或标记无效）
            }
        };

        // 正常解析无问题的行
        foreach (var record in csv.GetRecords<PartnerCsvRecord>())
        {
            record?.Let(records.Add);
        }

        return records;
    }

    private static string CleanInternalSpecialChars(string rawLine)
    {
        var sb = new StringBuilder();
        bool insideQuote = false;

        foreach (var c in rawLine)
        {
            if (c == '"')
            {
                insideQuote = !insideQuote;
                // 仅保留字段边界的引号，跳过内部引号
                if (!insideQuote || sb.Length == 0 || sb[sb.Length - 1] == ',')
                {
                    sb.Append(c);
                }
            }
            else if (c == ',' && insideQuote)
            {
                // 移除字段内部的逗号
                continue;
            }
            else
            {
                sb.Append(c);
            }
        }

        return sb.ToString();
    }

    private static void Let<T>(this T obj, Action<T> action) => action(obj);
}

关键说明 #

• 性能优化：数十万行场景下，用StringBuilder实现高效字符清洗，避免频繁字符串拼接
• SSIS适配：移除字段内部的引号和逗号，彻底避免SSIS解析时的列拆分错误
• 灵活调整：可根据合作伙伴CSV的实际格式（如引号规则、分隔符）修改CsvConfiguration和清洗逻辑
• 错误兜底：非额外列导致的BadData，可根据业务需求选择跳过、标记或记录日志

内容的提问来源于stack exchange，提问作者VinceP1974