使用SqlBulkCopy批量插入数据时触发主键约束冲突问题求助

你遇到的这个主键重复错误，在分批批量导入场景里挺常见的，咱们从几个核心原因入手，一步步解决：

1. 数据源本身藏着重复主键 #

这是最大概率的原因——你用来填充DataTable的原始数据里，本身就有重复的主键值（比如两条记录的SalesId完全一样）。毕竟是数百万条数据，很容易出现这种情况。

解决办法： #

在预处理数据阶段就做去重：

• 如果是从数据库读取数据源，直接在查询语句里加DISTINCT，或者用GROUP BY主键列取唯一记录；
• 如果是内存里处理DataTable，用LINQ做分组去重，示例代码：

  // 假设主键列是SalesId，筛选出唯一记录
  var uniqueRows = originalDataTable.AsEnumerable()
                                    .GroupBy(row => row.Field<int>("SalesId"))
                                    .Select(g => g.First())
                                    .CopyToDataTable();
  

• 要是从文件（比如CSV）读取数据，每读一条就先检查主键是否已经出现过，用HashSet<T>来存已处理的主键，查找效率极高：

  HashSet<int> processedIds = new HashSet<int>();
  foreach (var item in sourceData)
  {
      if (processedIds.Contains(item.SalesId))
      {
          // 跳过重复，或者记录日志方便后续排查
          continue;
      }
      processedIds.Add(item.SalesId);
      // 把数据加入DataTable...
  }
  

2. 不同批次之间出现重复主键 #

比如第一批导入了SalesId=1001的记录，第二批里又出现了这个主键值——虽然单批次内没有重复，但跨批次重复了。注意：SQL Server会在每批WriteToServer执行时就检查约束，不会等你最后提交事务，所以这时候会直接报错。

解决办法： #

维护一个全局的主键集合，在添加记录到DataTable前，先检查这个集合：

// 全局集合，存储所有已经处理过的主键
HashSet<int> allProcessedIds = new HashSet<int>();

foreach (var dataItem in sourceData)
{
    int salesId = dataItem.SalesId;
    if (allProcessedIds.Contains(salesId))
    {
        continue;
    }
    allProcessedIds.Add(salesId);
    
    // 填充DataTable行...
    
    // 达到批次大小就批量插入
    if (dataTable.Rows.Count >= 1000)
    {
        bulkCopy.WriteToServer(dataTable);
        dataTable.Clear();
    }
}

3. 目标表已有数据和导入数据重复 #

如果dbo.Sales表在导入前就有数据，而你的导入数据里有和已有数据重复的主键，也会触发约束错误。

解决办法： #

• 如果业务允许，导入前可以先清空目标表（记得先备份！）；
• 要是不能清空，就先把目标表的所有主键读进HashSet，预处理数据时同时过滤掉这些已存在的主键：

  HashSet<int> existingIds = new HashSet<int>();
  using (SqlCommand cmd = new SqlCommand("SELECT SalesId FROM dbo.Sales", connection))
  {
      using (SqlDataReader reader = cmd.ExecuteReader())
      {
          while (reader.Read())
          {
              existingIds.Add(reader.GetInt32(0));
          }
      }
  }
  
  // 处理数据时同时检查existingIds和allProcessedIds
  

4. 兜底方案：用临时表+MERGE语句过滤重复 #

如果上面的预处理去重不好实现，还可以换个思路：先把每批数据导入临时表，再用MERGE语句把临时表中目标表没有的记录插入进去，自动过滤重复主键：

-- 假设临时表#TempSales和dbo.Sales结构一致
MERGE INTO dbo.Sales AS Target
USING #TempSales AS Source
ON Target.SalesId = Source.SalesId
WHEN NOT MATCHED THEN
    INSERT (SalesId, Column1, Column2)
    VALUES (Source.SalesId, Source.Column1, Source.Column2);

对应的C#代码里，先把DataTable写入临时表，再执行这条MERGE语句即可。

最后提醒下：处理过程中最好加入日志，把重复的主键记录下来，方便后续分析数据问题的根源~

内容的提问来源于stack exchange，提问作者I Love Stackoverflow