如何借助EF Core快速执行大规模SQL查询？

直接执行以下SQL批量操作几乎瞬间完成：

insert into new_entity
select top 10000 field1,
                 field2
from old_entity

update top 1000 e
            set field1 = 13
           from entity e
          where field1 is null

但通过EF遍历实体对象的方式执行相同操作，耗时长达数小时：

using(var db = new myDbContext())
{
  var new_objs = db.old_entity.Take(10000).Select(ot=> new new_entity() { ... });
  db.new_entity.AddRange(new_objs);
  db.SaveChanges();
}

using(var db = new myDbContext())
{
  var objs = db.entity.Where(e => e.field1 == null).Take(1000);
  objs.ForEach(e => e.field1 = 13);
  db.SaveChanges();
}

不想编写繁琐的原生SQL，希望借助EF模型实现和原生SQL相当的性能。

1. 批量更新（对应UPDATE场景） #

EF Core 7.0及以上版本提供了ExecuteUpdate方法，直接生成数据库端的批量更新SQL，无需将实体加载到内存：

using(var db = new myDbContext())
{
    db.entity
      .Where(e => e.field1 == null)
      .Take(1000)
      .ExecuteUpdate(setters => setters
          .SetProperty(e => e.field1, 13));
}

该方法的执行逻辑和手写的UPDATE SQL完全一致，性能无差别。

2. 批量插入（对应INSERT...SELECT场景） #

EF Core原生暂不支持直接生成INSERT...SELECT，但有两种可行方案：

方案A：使用第三方EF扩展库 #

比如Z.EntityFramework.Extensions.EFCore这类库，提供了InsertFromQuery方法，直接生成原生批量插入SQL：

using(var db = new myDbContext())
{
    db.new_entity
      .InsertFromQuery(() => db.old_entity
        .Take(10000)
        .Select(ot => new new_entity
        {
            field1 = ot.field1,
            field2 = ot.field2
        }));
}

这种方式完全复用EF模型的映射关系，无需手写SQL，性能和原生SQL一致。

方案B：基于EF模型动态生成SQL #

如果不想引入第三方依赖，可以利用EF的元数据API动态生成SQL，避免硬编码表名和字段：

using(var db = new myDbContext())
{
    var oldEntity = db.Model.FindEntityType(typeof(old_entity));
    var newEntity = db.Model.FindEntityType(typeof(new_entity));
    
    var oldTable = oldEntity.GetTableName();
    var newTable = newEntity.GetTableName();
    
    // 匹配两个实体中名称相同的字段
    var commonFields = newEntity.GetProperties()
        .Where(p => oldEntity.FindProperty(p.Name) != null)
        .Select(p => p.Name);
    
    var sql = $"INSERT INTO {newTable} ({string.Join(", ", commonFields)}) " +
              $"SELECT TOP 10000 {string.Join(", ", commonFields)} " +
              $"FROM {oldTable}";
              
    db.Database.ExecuteSqlRaw(sql);
}

这种方式借助EF模型维护表和字段映射，避免手动修改SQL，同时保持原生SQL的性能。

3. 注意事项 #

• ExecuteUpdate仅在EF Core 7.0及以上版本可用，若使用旧版本需升级或选择其他方案
• 第三方扩展库需注意授权协议，部分库为商业付费
• 动态生成SQL时，因使用EF元数据而非用户输入，无需担心SQL注入风险

内容的提问来源于stack exchange，提问作者Rico