如何优化CsvHelper大量类型转换错误场景下的处理速度？

在使用CsvHelper导入CSV文件时，通过逐行try-catch处理类型转换错误，以保留成功数据并上报失败数据。无错误场景下300万行仅需1秒，但当所有行均存在类型转换问题时，处理时间长达60秒。以下是针对错误处理的优化建议：

原代码示例：

csv.Read();
csv.ReadHeader();        
while (await csv.ReadAsync())
{
    try
    {
        var record = csv.GetRecord<CollectionQueue>();

    }
    catch (TypeConverterException conversionEx)
    {
        var errorMessage = $"Error converting value '{conversionEx.Text}' to type '{conversionEx.MemberMapData.Type.Name}' for field '{conversionEx.MemberMapData.Names[0]}'";

    }
}

优化建议 #

1. 改用CsvHelper内置错误收集机制，避免逐行try-catch #

逐行捕获异常会产生巨大的性能开销，CsvHelper提供了全局错误回调事件，可以在不中断读取的前提下收集错误，无需频繁抛出捕获异常。

示例代码：

var errors = new List<string>();

// 配置错误回调
csv.Configuration.ReadingExceptionOccurred = ex =>
{
    if (ex.Exception is TypeConverterException conversionEx)
    {
        var errorMessage = $"Error converting value '{conversionEx.Text}' to type '{conversionEx.MemberMapData.Type.Name}' for field '{conversionEx.MemberMapData.Names[0]}'";
        errors.Add(errorMessage);
    }
    // 返回false表示继续读取下一行
    return false;
};

csv.Read();
csv.ReadHeader();        
while (await csv.ReadAsync())
{
    // 无需try-catch，错误会被全局回调捕获
    var record = csv.GetRecord<CollectionQueue>();
}

2. 提前字段格式校验，跳过无效转换 #

在调用GetRecord之前，手动读取易出错字段的值并做预校验，避免触发类型转换异常。比如针对数字、日期类型字段，提前尝试解析，失败直接标记错误，减少异常抛出的开销。

示例代码：

var errors = new List<string>();
csv.Read();
csv.ReadHeader();        
while (await csv.ReadAsync())
{
    // 预校验特定字段（比如Id列）
    var idValue = csv.GetField("Id");
    if (!int.TryParse(idValue, out _))
    {
        errors.Add($"Invalid Id value: {idValue} at line {csv.Context.Row}");
        // 跳过当前行的类型转换，直接进入下一行
        continue;
    }

    // 校验通过再执行类型转换
    var record = csv.GetRecord<CollectionQueue>();
}

3. 批量处理错误，减少频繁IO/上报开销 #

不要每捕获一条错误就立即上报或写入日志，而是将错误缓存到集合中，达到一定数量后批量处理，减少频繁IO操作带来的性能损耗。

示例代码：

var errors = new List<string>();
const int batchSize = 1000;

csv.Configuration.ReadingExceptionOccurred = ex =>
{
    if (ex.Exception is TypeConverterException conversionEx)
    {
        var errorMessage = $"Error converting value '{conversionEx.Text}' to type '{conversionEx.MemberMapData.Type.Name}' for field '{conversionEx.MemberMapData.Names[0]}'";
        errors.Add(errorMessage);

        // 批量上报
        if (errors.Count >= batchSize)
        {
            ReportErrors(errors);
            errors.Clear();
        }
    }
    return false;
};

// 读取完成后处理剩余错误
if (errors.Count > 0)
{
    ReportErrors(errors);
}

4. 自定义类型转换器，拦截转换错误 #

针对特定类型编写自定义转换器，在转换失败时返回默认值（或标记错误），而非抛出异常，从根源减少异常触发。

示例代码：

public class SafeIntConverter : DefaultTypeConverter
{
    private readonly List<string> _errors;

    public SafeIntConverter(List<string> errors)
    {
        _errors = errors;
    }

    public override object ConvertFromString(string text, IReaderRow row, MemberMapData memberMapData)
    {
        if (int.TryParse(text, out var result))
        {
            return result;
        }

        // 记录错误
        _errors.Add($"Invalid value '{text}' for field '{memberMapData.Names[0]}' at line {row.Context.Row}");
        // 返回默认值，避免抛出异常
        return 0;
    }
}

// 注册自定义转换器
csv.Configuration.TypeConverterCache.AddConverter<int>(new SafeIntConverter(errors));

// 读取时无需捕获异常，错误已被转换器收集
csv.Read();
csv.ReadHeader();        
while (await csv.ReadAsync())
{
    var record = csv.GetRecord<CollectionQueue>();
}

5. 谨慎使用并行处理 #

若CSV行之间无依赖关系，可尝试拆分文件后并行读取处理，但需注意CsvHelper实例并非线程安全，需为每个线程创建独立的Reader实例。此方案适合数据量极大且错误率高的场景，需权衡并行带来的额外开销。

内容的提问来源于stack exchange，提问作者Paul McTigue