如何不借助CSV库高效将CSV读取到.NET DataTable并匹配列数据类型？

你的现有代码可以实现CSV到DataTable的类型映射，但在处理大量数据时，循环内的switch语句会带来重复类型判断的性能开销。下面是两个核心优化方向，同时保持实现简洁且不依赖任何第三方CSV库：

1. 预缓存列类型转换委托 #

DataTable的列类型是固定的，无需在每一行、每一列的循环中重复判断类型。我们可以在方法初始化阶段，为每一列创建对应的字符串到目标类型的转换委托，后续直接调用委托即可避免switch的性能损耗。

2. 优化CSV行分割的性能（可选） #

原代码使用的正则分割虽然能正确处理带引号的逗号，但正则在高频调用下有性能开销。可以实现一个轻量的手动分割逻辑替代Regex.Split，进一步提升大数据量下的处理速度。

优化后的完整代码 #

public static void ReadCsvToDataTable(string filePath, DataTable dataTable)
{
    dataTable.Rows.Clear();
    // 预缓存每一列的转换委托
    var columnConverters = new Func<string, object>[dataTable.Columns.Count];
    for (int i = 0; i < dataTable.Columns.Count; i++)
    {
        var columnType = dataTable.Columns[i].DataType;
        var typeCode = Type.GetTypeCode(columnType);
        columnConverters[i] = typeCode switch
        {
            TypeCode.Boolean => s => bool.Parse(s),
            TypeCode.Byte => s => byte.Parse(s),
            TypeCode.Char => s => char.Parse(s),
            TypeCode.DateTime => s => DateTime.Parse(s),
            TypeCode.Decimal => s => decimal.Parse(s),
            TypeCode.Double => s => double.Parse(s),
            TypeCode.Int16 => s => short.Parse(s),
            TypeCode.Int32 => s => int.Parse(s),
            TypeCode.Int64 => s => long.Parse(s),
            TypeCode.SByte => s => sbyte.Parse(s),
            TypeCode.Single => s => float.Parse(s),
            TypeCode.UInt16 => s => ushort.Parse(s),
            TypeCode.UInt32 => s => uint.Parse(s),
            TypeCode.UInt64 => s => ulong.Parse(s),
            // 字符串和Object类型直接返回
            TypeCode.String or TypeCode.Object => s => s,
            _ => s => s
        };
    }

    using var streamReader = new StreamReader(filePath);
    // 跳过表头（如果DataTable列名已匹配，这里可以直接读取数据行）
    streamReader.ReadLine();

    while (!streamReader.EndOfStream)
    {
        var line = streamReader.ReadLine();
        var fields = SplitCsvLine(line); // 使用手动分割替代Regex.Split
        var dataRow = dataTable.NewRow();
        for (int i = 0; i < dataTable.Columns.Count; i++)
        {
            // 直接调用预缓存的转换委托
            dataRow[i] = columnConverters[i](fields[i]);
        }
        dataTable.Rows.Add(dataRow);
    }
}

// 手动实现带引号的CSV分割逻辑，性能优于Regex.Split
private static string[] SplitCsvLine(string line)
{
    var fields = new List<string>();
    var currentField = new StringBuilder();
    bool inQuotes = false;

    foreach (char c in line)
    {
        if (c == '"')
        {
            inQuotes = !inQuotes;
        }
        else if (c == ',' && !inQuotes)
        {
            fields.Add(currentField.ToString());
            currentField.Clear();
        }
        else
        {
            currentField.Append(c);
        }
    }
    // 添加最后一个字段
    fields.Add(currentField.ToString());
    return fields.ToArray();
}

优化说明 #

• 委托缓存：在方法开始时一次性为所有列生成转换委托，避免了每行每列重复执行switch判断，这在处理十万级以上数据时性能提升明显。
• 手动CSV分割：替换Regex.Split为自定义的字符遍历分割，减少正则引擎的开销，同时保持对带引号逗号的正确处理。
• 资源管理：使用using自动管理StreamReader的资源，避免内存泄漏。
• 简洁语法：用C# 8.0+的switch表达式替代传统switch语句，代码更紧凑且性能相当。

额外建议 #

如果需要处理转换失败的情况（比如CSV中存在无效的数值格式），可以将委托改为包含TryParse的逻辑，例如：

TypeCode.Int32 => s => int.TryParse(s, out var val) ? val : DBNull.Value,

这样可以避免抛出异常，同时兼容空值或无效数据。

内容的提问来源于stack exchange，提问作者lou34964