EF Core批量操作后内存未释放？24k数据迁移内存泄漏排查

问题背景 #

我开发了一个跨数据库迁移表数据的程序，待迁移表包含24k条记录。通过DbContextFactory创建上下文，配置代码如下（Program.cs）：

builder.Services.AddDbContextFactory<StackFlContext>(x =>
            {
                x.UseSqlServer(builder.Configuration.GetConnectionString("StackFLDb"));
                x.UseQueryTrackingBehavior(QueryTrackingBehavior.NoTracking);
            });
            builder.Services.AddDbContextFactory<StackUlContext>(x =>
            {
                x.UseSqlServer(builder.Configuration.GetConnectionString("StackULDb"));
                x.UseQueryTrackingBehavior(QueryTrackingBehavior.NoTracking);
            });
            builder.Services.AddDbContextFactory<SabpekContext>(x =>
            {
                x.UseSqlServer(builder.Configuration.GetConnectionString("SabpekDb"));
                x.UseQueryTrackingBehavior(QueryTrackingBehavior.NoTracking);
            });

数据迁移逻辑实现如下：

public class IntegrationStackReferencesService : IIntegrationReferencesService
    {
        private readonly IDbContextFactory<StackFlContext> _stackFLContextFactory;
        private readonly IDbContextFactory<StackUlContext> _stackULContextFactory;
        private readonly IDbContextFactory<SabpekContext> _sabpekContextFactory;
        private readonly ILogger _logger;

        public IntegrationStackReferencesService(IDbContextFactory<StackFlContext> stackFLContextFactory,
                                                 IDbContextFactory<StackUlContext> stackULContextFactory,
                                                 IDbContextFactory<SabpekContext> sabpekContextFactory,
                                                 ILogger logger
            )
        {
            _stackFLContextFactory = stackFLContextFactory;
            _stackULContextFactory = stackULContextFactory;
            _sabpekContextFactory = sabpekContextFactory;
            _logger = logger;
        }

        public async Task SyncStackReferences()
        {
            //每个块都用try catch包裹，所以如果某个参考表同步失败或出错，其他同步方法仍会执行
            using (var stackFlContext = _stackFLContextFactory.CreateDbContext())
            using (var stackUlContext = _stackULContextFactory.CreateDbContext())
            using (var sabpekContext = _sabpekContextFactory.CreateDbContext())
            {
                await SyncTechStructureAsync<Models.Stack.StackFl.ВозможнаяСтруктура>(stackFlContext, sabpekContext);
            }
        }
private async Task SyncTable<T>(DbContext dbContext, IQueryable<T> list) where T : class
        {
            dbContext.Set<T>().Truncate();
            dbContext.Set<T>().BulkInsert(list);
            //await dbContext.SaveChangesAsync();
        }

迁移前内存处于初始占用水平，迁移完成后内存占用显著上升且未回落至初始值。我认为using语句包裹的上下文应被自动清理，为何内存未释放？该如何处理才能释放内存？

内存未释放的原因 #

1. EF Core上下文释放与GC的异步性
   using语句确实会释放DbContext的非托管资源（比如数据库连接），但托管内存（比如查询出来的24k实体对象）的回收要由.NET垃圾回收器（GC）负责。GC不会在对象失去引用后立即执行回收，只有当内存达到一定压力阈值时才会触发。所以迁移完成后内存暂时上升是正常的，只是GC还没来得及清理。

2. BulkInsert操作的内存持有
   你使用的BulkInsert如果是第三方库（比如EFCore.BulkExtensions），这类操作通常会一次性加载大量数据到内存中构建批量请求，内部可能会持有临时对象或缓存，这些资源不会随着DbContext的释放立刻被回收，需要等待GC处理。

3. 实体对象的生命周期
   即便开启了NoTracking，查询出来的实体对象仍然会被加载到内存中，直到没有任何引用指向它们。虽然DbContext被释放了，但这些实体对象的引用可能还存在于局部变量（比如list参数）的作用域中，直到方法执行完毕才会失去引用，进而被GC回收。

解决办法 #

1. 手动触发GC（适合一次性迁移任务）
   由于迁移是一次性操作，可以在同步完成后手动触发GC，强制回收未使用的内存。注意：频繁手动GC会影响性能，但一次性任务可以接受：

   public async Task SyncStackReferences()
   {
       using (var stackFlContext = _stackFLContextFactory.CreateDbContext())
       using (var sabpekContext = _sabpekContextFactory.CreateDbContext())
       {
           await SyncTechStructureAsync<Models.Stack.StackFl.ВозможнаяСтруктура>(stackFlContext, sabpekContext);
       }
       // 手动触发GC回收
       GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced, true, true);
       GC.WaitForPendingFinalizers();
   }
   

2. 分批处理数据
   不要一次性查询并迁移24k条记录，分成小批次（比如每次1000条）处理，每处理完一批就让GC有机会回收内存，同时减少单次内存占用：

   private async Task SyncTable<T>(DbContext dbContext, IQueryable<T> list) where T : class
   {
       dbContext.Set<T>().Truncate();
       var batchSize = 1000;
       var totalCount = await list.CountAsync();
       for (int i = 0; i < totalCount; i += batchSize)
       {
           var batch = await list.Skip(i).Take(batchSize).ToListAsync();
           dbContext.Set<T>().BulkInsert(batch);
           // 清空批次引用，帮助GC回收
           batch.Clear();
       }
   }
   

3. 优化BulkInsert配置
   如果使用的是EFCore.BulkExtensions这类库，可以查看其文档，配置减少内存占用的参数，比如启用UseStreaming（如果支持），避免一次性加载所有数据到内存：

   dbContext.Set<T>().BulkInsert(list, options => { options.UseStreaming = true; });
   

4. 使用内存分析工具定位泄漏
   如果以上方法无效，可以用dotMemory这类工具分析内存快照，查看哪些对象没有被回收，是否存在意外的引用泄漏（比如日志记录中持有实体引用，或者静态变量缓存了数据）。

内容的提问来源于stack exchange，提问作者Semyon