如何在CSV Helper中捕获转换错误并返回完整错误列表？

针对你的百万级CSV读取错误收集需求，结合CSV Helper的特性，以下是几个可行方案，均能保留自定义TypeConverter并实现全错误捕获、继续读取的目标：

方案1：改造TypeConverter返回转换结果而非抛异常 #

核心思路是让自定义TypeConverter不再抛出异常，而是返回包含转换状态和错误信息的结果对象，这样读取时可以逐个字段检查转换结果，收集所有错误后再跳过无效行。

步骤： #

1. 定义通用转换结果结构体：

public struct ConversionResult<T>
{
    public bool IsSuccess { get; set; }
    public T Value { get; set; }
    public string ErrorMessage { get; set; }
}

2. 改造自定义TypeConverter（以枚举转换为例）：

public class EnumConverter<TEnum> : DefaultTypeConverter where TEnum : struct, Enum
{
    public override object ConvertFromString(string text, IReaderRow row, MemberMapData memberMapData)
    {
        if (Enum.TryParse<TEnum>(text, ignoreCase: true, out var result))
        {
            return new ConversionResult<TEnum> { IsSuccess = true, Value = result };
        }
        return new ConversionResult<TEnum> 
        { 
            IsSuccess = false, 
            ErrorMessage = $"无效的枚举值：{text}，允许值：{string.Join(", ", Enum.GetNames<TEnum>())}" 
        };
    }
}

3. 读取CSV时逐字段校验转换结果：

var errors = new List<RowError>();
using var reader = new CsvReader(new StreamReader("data.csv"), CultureInfo.InvariantCulture);
reader.Context.RegisterClassMap<YourEntityMap>();

while (reader.Read())
{
    var rowErrors = new List<string>();
    var rowNumber = reader.Context.Parser.Row;

    // 手动逐个字段转换并检查
    var enumFieldResult = reader.GetField<ConversionResult<YourEnum>>("EnumColumn");
    if (!enumFieldResult.IsSuccess)
    {
        rowErrors.Add($"枚举字段错误：{enumFieldResult.ErrorMessage}");
    }

    var dateFieldResult = reader.GetField<ConversionResult<DateTime>>("DateColumn");
    if (!dateFieldResult.IsSuccess)
    {
        rowErrors.Add($"日期字段错误：{dateFieldResult.ErrorMessage}");
    }

    // 其他字段同理...

    // 收集行错误（如果有）
    if (rowErrors.Any())
    {
        errors.Add(new RowError { RowNumber = rowNumber, Errors = rowErrors });
        continue; // 跳过当前行，继续读取下一行
    }

    // 转换成功，进行FluentValidation格式校验
    var entity = reader.GetRecord<YourEntity>();
    var validationResult = _validator.Validate(entity);
    if (!validationResult.IsValid)
    {
        errors.Add(new RowError 
        { 
            RowNumber = rowNumber, 
            Errors = validationResult.Errors.Select(e => e.ErrorMessage).ToList() 
        });
        continue;
    }

    // 校验通过，加入批量插入队列
    _bulkCopyQueue.Add(entity);
}

// 最后统一处理批量插入和错误返回

优点：完全控制转换流程，能捕获一行内所有转换错误，性能损耗极低，适合百万级数据。
缺点：需要修改所有自定义TypeConverter的逻辑，调整实体字段类型为ConversionResult<T>（或单独维护转换结果）。

方案2：利用ReadingExceptionOccurred捕获首错后，手动检查剩余字段 #

如果不想修改现有TypeConverter，可以在ReadingExceptionOccurred事件中捕获第一个错误，然后手动获取当前行的原始数据，对剩余字段逐个调用转换器进行测试，收集所有错误后继续读取。

步骤： #

1. 注册ReadingExceptionOccurred事件，禁用默认异常抛出：

var errors = new List<RowError>();
using var reader = new CsvReader(new StreamReader("data.csv"), CultureInfo.InvariantCulture);
reader.Context.RegisterClassMap<YourEntityMap>();
reader.Configuration.IgnoreReadingExceptions = true; // 禁用自动抛出异常

reader.ReadingExceptionOccurred += (sender, args) =>
{
    var rowNumber = args.Exception.Context.Parser.Row;
    var rawRow = args.Exception.Context.Parser.Record;
    var rowErrors = new List<string>();

    // 记录第一个转换错误
    rowErrors.Add($"转换错误：{args.Exception.Message}");

    // 获取当前实体的所有字段映射
    var memberMaps = reader.Context.Maps[typeof(YourEntity)].MemberMaps;
    var currentFieldIndex = args.Exception.Context.Parser.CurrentIndex;

    // 手动检查剩余字段的转换情况
    for (int i = currentFieldIndex + 1; i < memberMaps.Count; i++)
    {
        var memberMap = memberMaps[i];
        var fieldValue = rawRow[i];
        var converter = memberMap.TypeConverter;

        try
        {
            converter.ConvertFromString(fieldValue, reader, memberMap.Data);
        }
        catch (Exception ex)
        {
            rowErrors.Add($"{memberMap.Data.Names[0]}字段转换错误：{ex.Message}");
        }
    }

    errors.Add(new RowError { RowNumber = rowNumber, Errors = rowErrors });
    args.Handled = true; // 标记异常已处理，继续读取
};

// 正常读取所有行
var validEntities = new List<YourEntity>();
foreach (var entity in reader.GetRecords<YourEntity>())
{
    // 对转换成功的实体进行FluentValidation校验
    var validationResult = _validator.Validate(entity);
    if (validationResult.IsValid)
    {
        validEntities.Add(entity);
    }
    else
    {
        errors.Add(new RowError 
        { 
            RowNumber = reader.Context.Parser.Row, 
            Errors = validationResult.Errors.Select(e => e.ErrorMessage).ToList() 
        });
    }
}

优点：无需修改现有TypeConverter，兼容原有转换逻辑。
缺点：手动遍历剩余字段会带来少量性能开销，但对于百万级数据仍在可接受范围内；需要处理字段映射的索引对应关系，逻辑稍复杂。

方案3：关闭自动映射，手动逐字段转换 #

完全绕开CSV Helper的自动实体映射，直接读取原始行数据，对每个字段手动调用自定义TypeConverter，逐个检查转换结果，收集所有错误。

示例代码： #

var errors = new List<RowError>();
var validEntities = new List<YourEntity>();
var enumConverter = new EnumConverter<YourEnum>();
var dateConverter = new CustomUtcDateConverter();

using var parser = new CsvParser(new StreamReader("data.csv"), CultureInfo.InvariantCulture);
parser.Configuration.HasHeaderRecord = true;
parser.Read(); // 跳过表头

while (parser.Read())
{
    var rowNumber = parser.Row;
    var rawRow = parser.Record;
    var rowErrors = new List<string>();
    var entity = new YourEntity();

    // 转换枚举字段
    try
    {
        entity.EnumField = (YourEnum)enumConverter.ConvertFromString(rawRow[0], null, null);
    }
    catch (InvalidCastException ex)
    {
        rowErrors.Add($"枚举字段错误：{ex.Message}");
    }

    // 转换日期字段
    try
    {
        entity.DateField = (DateTime)dateConverter.ConvertFromString(rawRow[1], null, null);
    }
    catch (InvalidCastException ex)
    {
        rowErrors.Add($"日期字段错误：{ex.Message}");
    }

    // 其他字段同理...

    if (rowErrors.Any())
    {
        errors.Add(new RowError { RowNumber = rowNumber, Errors = rowErrors });
        continue;
    }

    // FluentValidation校验
    var validationResult = _validator.Validate(entity);
    if (!validationResult.IsValid)
    {
        errors.Add(new RowError 
        { 
            RowNumber = rowNumber, 
            Errors = validationResult.Errors.Select(e => e.ErrorMessage).ToList() 
        });
        continue;
    }

    validEntities.Add(entity);
}

// 执行SQL Bulk Copy
using var bulkCopy = new SqlBulkCopy(connectionString);
bulkCopy.DestinationTableName = "YourTable";
bulkCopy.WriteToServer(validEntities.AsDataReader());

优点：最灵活，完全控制每个字段的转换和校验流程，性能最优（减少了CSV Helper自动映射的开销）。
缺点：需要手动维护字段索引与实体属性的对应关系，表头变化时需要同步调整代码。

性能优化建议 #

• 对于百万级数据，优先选择方案1或方案3，减少反射和事件处理的开销。
• 错误收集使用List<RowError>而非线程安全集合，因为CSV读取是单线程的，避免不必要的锁开销。
• FluentValidation可以开启EnablePropertyValidation或针对高频校验规则做缓存，进一步提升校验速度。

内容的提问来源于stack exchange，提问作者SigmaScout_12