列类型未知时使用SqlBulkCopy导入动态CSV到SQL Server的方案

核心处理逻辑 #

导入前先拉取SQL Server目标表的字段元数据，基于元数据完成CSV值到SQL字段类型的前置转换，再通过SqlBulkCopy写入，从根源避免类型转换异常。

具体实现步骤 #

• 第一步：拉取目标表列类型元数据
  执行SQL查询获取目标表的列名、对应数据类型、非空约束等信息，构建列名到.NET类型的映射表。
  查询SQL示例：

SELECT 
    c.name AS ColumnName,
    t.name AS DataType,
    c.is_nullable AS IsNullable
FROM sys.columns c
JOIN sys.types t ON c.system_type_id = t.system_type_id
WHERE c.object_id = OBJECT_ID('你的目标表名')

将查询到的SQL数据类型映射为对应的.NET类型，比如uniqueidentifier对应typeof(Guid)，int对应typeof(int)，datetime对应typeof(DateTime)等。

• 第二步：基于元数据动态转换CSV值
  使用CsvHelper读取CSV内容时，不要依赖默认类型转换，而是根据前置拿到的类型映射表逐列做类型转换，构建与目标表结构完全一致的DataTable。
  示例代码：

// columnTypeMap为提前构建的列名->目标.NET类型的映射字典
using var reader = new StreamReader(csv文件路径);
using var csv = new CsvReader(reader, CultureInfo.InvariantCulture);
csv.Read();
csv.ReadHeader();

var dataTable = new DataTable();
// 初始化DataTable列，类型与目标表完全匹配
foreach (var (columnName, targetType) in columnTypeMap)
{
    dataTable.Columns.Add(columnName, targetType);
}

// 逐行读取转换
while (csv.Read())
{
    var row = dataTable.NewRow();
    foreach (var (columnName, targetType) in columnTypeMap)
    {
        var rawValue = csv.GetField<string>(columnName)?.Trim();
        // 空值处理
        if (string.IsNullOrWhiteSpace(rawValue))
        {
            row[columnName] = DBNull.Value;
            continue;
        }
        // 分类型转换
        if (targetType == typeof(Guid))
        {
            row[columnName] = Guid.Parse(rawValue);
        }
        else if (targetType == typeof(DateTime))
        {
            row[columnName] = DateTime.Parse(rawValue);
        }
        else
        {
            row[columnName] = Convert.ChangeType(rawValue, targetType);
        }
    }
    dataTable.Rows.Add(row);
}

• 第三步：显式配置SqlBulkCopy列映射
  不要依赖列顺序自动匹配，手动指定列映射避免错位导致的转换错误。
  示例代码：

using var bulkCopy = new SqlBulkCopy(数据库连接对象);
bulkCopy.DestinationTableName = "你的目标表名";
foreach (var columnName in columnTypeMap.Keys)
{
    bulkCopy.ColumnMappings.Add(columnName, columnName);
}
bulkCopy.WriteToServer(dataTable);

场景适配优化 #

• 可增加类型转换容错逻辑，使用TryParse系列方法处理值，记录转换失败的行号和错误信息，跳过错误行继续执行导入，更适配测试场景的使用需求。
• 若CSV无表头，可增加列位置映射配置能力，支持用户手动绑定CSV列与目标表列的对应关系。
• 对特殊格式值可增加前置清洗逻辑，比如去除数字的千分符、统一日期格式等，提升转换成功率。

内容的提问来源于stack exchange，提问作者oyeesh