EF Bulk Extensions批量插入过慢，求助排查原因

针对你遇到的EF Core批量插入性能问题，从EF配置、第三方库使用、数据预处理、数据库配置几个维度逐一排查：

1. 先排除数据转换阶段的隐性性能损耗 #

你当前转换diagnosticData时，在Select中使用First/FirstOrDefault遍历集合，这是**O(n*m)**的时间复杂度（n为statusData数量，m为devices/diagnostics数量），这部分耗时可能被误算到插入操作中。

优化方式：提前将devices和diagnostics转为字典，用O(1)的查找替代遍历：

// 预处理字典，放在转换逻辑之前
var deviceMap = devices.ToDictionary(dv => dv.DeviceId, dv => dv.Id);
var diagnosticMap = diagnostics.ToDictionary(di => di.DiagnosticId, di => di.Id);

// 转换数据时直接用字典查找
IEnumerable<PC.DiagnosticData> diagnosticData = statusData.Select(sd => new PC.DiagnosticData()
{
    DateTime = sd.DateTime.Value,
    DeviceId = deviceMap[sd.Device.Id.ToString()],  
    DiagnosticId = diagnosticMap[sd.Diagnostic.ToString()],
    Value = sd.Data.Value
});

2. 修正Entity Framework Bulk Extensions的使用问题 #

你当前的BulkInsert性能和基础EF相当，大概率是库版本不匹配或配置不合理导致的：

• 确认使用的EntityFrameworkCore.BulkExtensions版本是针对EF Core 6.x的（比如v6.11.4），版本不匹配会导致库退化为基础EF的插入逻辑；
• 移除手动开启的事务，BulkExtensions默认会自动处理事务，手动嵌套事务反而会增加开销；
• 调整批量配置，显式设置BatchSize并禁用不必要的选项：

public static async Task BulkInsertAsync(IEnumerable<DiagnosticData> entities)
{
    await using (PCContext _context = new PCContext())
    {
        await _context.BulkInsertAsync(entities, options => 
        {
            options.IncludeGraph = false;
            options.PreserveInsertOrder = false;
            options.BatchSize = 2000; // 匹配你的插入批次大小
            options.AutoCommitTransaction = true; // 启用自动事务
        }); 
    }
}

3. 优化EF Core基础插入的性能（方法一） #

EF Core 6默认支持批量插入，但需要显式配置批量大小，否则会生成大量单条Insert语句：
在上下文的OnConfiguring方法中添加批量配置：

protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
    optionsBuilder.UseSqlServer("你的连接字符串", 
        o => o.MaxBatchSize(2000)); // 设置批量大小，匹配你的插入批次
}

同时关闭上下文的跟踪行为，减少内存开销：

public static async Task BulkInsertAsyncEF(IEnumerable<TEntity> entities)
{
    await using (PCContext _context = new PCContext())
    {
        _context.ChangeTracker.QueryTrackingBehavior = QueryTrackingBehavior.NoTracking;
        await _context.AddRangeAsync(entities);
        await _context.SaveChangesAsync();
    }
}

4. 实体模型与数据库的字段配置对齐 #

你的实体中UpdateDateTime设置了默认值DateTime.UtcNow，但数据库表用的是getdate()生成，这会导致EF为每条记录传递该值，增加数据传输量。将实体配置改为数据库生成：

[Required]
[DatabaseGenerated(DatabaseGeneratedOption.Computed)] // 新增此配置
public DateTime UpdateDateTime { get; set; }

这样EF插入时不会包含该字段，由数据库自动生成，减少网络传输的数据量。

5. 手动SQL插入的优化（方法二） #

当前手动拼接单条Insert的方式性能一般，改为批量VALUES插入可以大幅减少网络往返次数，同时避免SQL注入风险（改用参数化）：

public static async Task BulkInsertSqlAsync(IEnumerable<DiagnosticData> diagnosticData)
{
    await using (PCContext _context = new PCContext())
    {
        var dataList = diagnosticData.ToList();
        if (!dataList.Any()) return;

        // 构建批量INSERT语句
        var sb = new StringBuilder("INSERT INTO DiagnosticData (DeviceId, DiagnosticId, Value, DateTime, UpdateDateTime) VALUES ");
        var parameters = new List<SqlParameter>();
        for (int i = 0; i < dataList.Count; i++)
        {
            var dd = dataList[i];
            sb.Append($"(@p{i}_DeviceId, @p{i}_DiagnosticId, @p{i}_Value, @p{i}_DateTime, GETDATE()),");
            parameters.Add(new SqlParameter($"@p{i}_DeviceId", dd.DeviceId));
            parameters.Add(new SqlParameter($"@p{i}_DiagnosticId", dd.DiagnosticId));
            parameters.Add(new SqlParameter($"@p{i}_Value", dd.Value));
            parameters.Add(new SqlParameter($"@p{i}_DateTime", dd.DateTime));
        }
        sb.Remove(sb.Length - 1, 1); // 移除最后一个逗号

        await _context.Database.ExecuteSqlRawAsync(sb.ToString(), parameters.ToArray());
    }
}

6. 数据库层面的排查 #

如果以上优化后性能仍不理想，检查SQL Server的配置：

• 查看数据库恢复模式，若为Full模式，可临时改为Simple模式（适合批量插入场景，减少日志写入开销）；
• 检查日志文件的自动增长设置，避免频繁的日志文件扩容；
• 查看SQL Server的等待统计（通过sys.dm_os_wait_stats），确认是否存在磁盘IO瓶颈（如PAGEIOLATCH_SH、WRITELOG等待类型）。

内容的提问来源于stack exchange，提问作者Adam Hey