EF Core 2.1中如何从文件批量导入7万条数据进行种子填充？

针对EF Core 2.1里要批量导入7万行文本数据做种子填充的需求，我给你几个实用的方案，都是实际项目里踩过坑后验证有效的：

EF Core的HasData本质是在迁移文件里生成大量INSERT语句，7万行的话会导致迁移文件体积爆炸，执行效率极低。更高效的方式是直接在迁移中执行SQL批量导入命令：

• 步骤1：创建新的迁移（Add-Migration AddCompanySeedData）
• 步骤2：打开生成的迁移文件，在Up方法里替换掉自动生成的代码，用migrationBuilder.Sql()执行批量导入脚本，比如SQL Server的BULK INSERT：

protected override void Up(MigrationBuilder migrationBuilder)
{
    // 替换成你的表名、字段映射和文本文件路径
    migrationBuilder.Sql(@"
        BULK INSERT Companies
        FROM 'C:\YourDataPath\company_data.txt'
        WITH (
            FIELDTERMINATOR = ',', -- 根据你的文本文件分隔符调整
            ROWTERMINATOR = '\n',
            FIRSTROW = 2 -- 如果文本有表头，跳过第一行
        );
    ");
}

• 注意：要确保SQL Server有权限访问文本文件路径，或者把文件放到SQL Server服务账户能读取的位置（比如服务器上的共享目录）。如果是MySQL等其他数据库，可以用对应的批量导入命令（比如LOAD DATA INFILE）。

如果需要在代码里解析文本、做数据校验，或者不想依赖SQL脚本，可以在应用启动时完成批量插入：

• 步骤1：编写文本解析逻辑，把7万行数据转换成Company实体列表（注意分批读取，避免一次性加载所有数据到内存）
• 步骤2：在应用初始化时（比如Program.cs的Main方法，或者Startup的Configure方法），检查数据库是否需要初始化，然后批量插入：

using (var scope = host.Services.CreateScope())
{
    var dbContext = scope.ServiceProvider.GetRequiredService<YourDbContext>();
    // 检查是否已经有数据，避免重复插入
    if (!dbContext.Companies.Any())
    {
        // 分批读取文本文件，比如每次读1000行
        var batchSize = 1000;
        var currentBatch = new List<Company>();
        
        foreach (var line in File.ReadLines("C:\\YourDataPath\\company_data.txt").Skip(1)) // 跳过表头
        {
            var parts = line.Split(',');
            currentBatch.Add(new Company
            {
                Id = int.Parse(parts[0]),
                Name = parts[1],
                // 其他字段映射
            });
            
            if (currentBatch.Count >= batchSize)
            {
                // 关闭跟踪提升性能
                dbContext.Companies.AddRange(currentBatch);
                dbContext.ChangeTracker.AutoDetectChangesEnabled = false;
                dbContext.SaveChanges();
                dbContext.ChangeTracker.AutoDetectChangesEnabled = true;
                
                currentBatch.Clear();
            }
        }
        
        // 处理剩余的不足一批的数据
        if (currentBatch.Any())
        {
            dbContext.Companies.AddRange(currentBatch);
            dbContext.SaveChanges();
        }
    }
}

• 优化点：用File.ReadLines而不是File.ReadAllLines，避免一次性加载所有文本到内存；分批提交减少内存压力和数据库锁竞争；关闭自动检测变更提升批量插入速度。

如果想保留EF Core的语法，同时获得批量操作的性能，可以用第三方扩展库，比如EFCore.BulkExtensions（注意要找支持EF Core 2.1的版本）：

• 步骤1：安装对应版本的NuGet包（比如Install-Package EFCore.BulkExtensions -Version 2.1.1，版本要和EF Core匹配）
• 步骤2：解析文本数据后，用BulkInsert方法批量插入：

using (var dbContext = new YourDbContext())
{
    if (!dbContext.Companies.Any())
    {
        var companies = ParseTextFileToCompanies(); // 你的文本解析方法，注意分批或者按需加载
        dbContext.BulkInsert(companies);
    }
}

• 优点：语法简洁，性能接近原生SQL批量操作；支持批量插入、更新、删除等操作。

• 避免重复插入：一定要先检查数据库中是否已有种子数据，防止每次启动或迁移都重复插入
• 性能优化：大数据量操作时，关闭EF Core的变更跟踪、分批处理、使用原生SQL或批量扩展库都是提升速度的关键
• 事务处理：如果需要保证数据完整性，可以在批量操作时包裹事务，比如用dbContext.Database.BeginTransaction()

内容的提问来源于stack exchange，提问作者Yuri Morales