使用EFCore.BulkExtensions批量导入时主键重复报错问题排查

核心问题：方法选型错误 #

你想用「存在则跳过、不存在则插入」的逻辑，但误用了BulkInsertOrUpdate——这个方法的设计是匹配到已有记录就执行更新，无匹配则插入。当你把PropertiesToIncludeOnUpdate设为空列表时，会生成无更新字段的UPDATE语句，SQL Server不允许这种无效更新，插件内部逻辑异常后可能直接执行插入操作，从而触发主键冲突。

其他可能的诱因 #

1. 实体主键映射错误：如果你的OemCatalog实体类没有将HitId正确标记为主键（比如未加[Key]特性、Fluent API未配置主键），插件无法识别主键作为匹配条件，导致无法匹配已有记录，重复插入。
2. 导入数据本身重复：从Elasticsearch获取的同批次数据中存在重复的HitId，即使数据库中无该记录，插入时也会触发主键约束冲突。

正确解决方案 #

1. 改用正确的批量操作方法

如果需求是仅插入新记录、跳过已有记录，直接使用BulkInsertOrSkip方法，无需设置空的更新字段列表：

var bulkConfig = new BulkConfig
{
    // 若HitId已设为主键，可省略此配置（插件默认用主键匹配）
    UpdateByProperties = new List<string> { nameof(OemCatalog.HitId) }
};

context.BulkInsertOrSkip(elasticsearchDataList, bulkConfig);

2. 验证实体主键配置

确保HitId在实体类中被正确标记为主键：

public class OemCatalog
{
    [Key]
    public string HitId { get; set; }
    // 其他字段定义
}

或者通过Fluent API配置：

protected override void OnModelCreating(ModelBuilder modelBuilder)
{
    modelBuilder.Entity<OemCatalog>()
        .HasKey(c => c.HitId);
}

3. 对导入数据去重

在导入前对从Elasticsearch获取的数据按HitId去重，避免同批次内重复：

var deduplicatedData = elasticsearchDataList
    .GroupBy(item => item.HitId)
    .Select(g => g.First())
    .ToList();

内容的提问来源于stack exchange，提问作者user6408649