ASP.NET Core 7 MVC大JSON反序列化入库性能优化问题

针对60万行以上JSON数据导入数据库的性能瓶颈，从反序列化、数据库操作、内存管理三个核心维度给出优化方案：

一、JSON反序列化：流式读取避免内存爆炸 #

不要一次性加载整个JSON文件到内存，采用流式逐个处理对象，降低内存占用。

System.Text.Json流式反序列化（推荐） #

适用于JSON数组格式的文件，逐元素读取：

using var stream = new FileStream("countries_cities.json", FileMode.Open, FileAccess.Read);
var serializerOptions = new JsonSerializerOptions { PropertyNameCaseInsensitive = true };

await foreach (var country in JsonSerializer.DeserializeAsyncEnumerable<Country>(stream, serializerOptions))
{
    await ProcessCountryBatchAsync(country);
}

如果是每行一个JSON对象的格式（JSON Lines），按行读取：

using var reader = new StreamReader("countries_cities.json");
string line;
while ((line = await reader.ReadLineAsync()) != null)
{
    var country = JsonSerializer.Deserialize<Country>(line, serializerOptions);
    await ProcessCountryBatchAsync(country);
}

二、数据库操作：批量插入+批量提交 #

1. 禁用EF Core变更跟踪 #

导入阶段不需要实体跟踪，关闭后减少内存开销与CPU消耗：

using var context = new AppDbContext();
context.ChangeTracker.QueryTrackingBehavior = QueryTrackingBehavior.NoTracking;

2. 分批次提交数据 #

将数据拆分为5000-10000条的小批次，每批次提交一次，避免单次提交数据量过大导致的锁竞争与内存溢出：

const int BatchSize = 10000;
var countryBatch = new List<Country>(BatchSize);
var cityBatch = new List<City>(BatchSize * 10); // 假设每个国家平均关联10个城市

await foreach (var country in JsonSerializer.DeserializeAsyncEnumerable<Country>(stream, serializerOptions))
{
    countryBatch.Add(country);
    cityBatch.AddRange(country.Cities);
    
    if (countryBatch.Count >= BatchSize)
    {
        await context.AddRangeAsync(countryBatch);
        await context.AddRangeAsync(cityBatch);
        await context.SaveChangesAsync();
        
        countryBatch.Clear();
        cityBatch.Clear();
    }
}

// 处理剩余数据
if (countryBatch.Count > 0)
{
    await context.AddRangeAsync(countryBatch);
    await context.AddRangeAsync(cityBatch);
    await context.SaveChangesAsync();
}

3. 使用EF Core批量扩展 #

对于超大数据量，AddRange性能仍有局限，可使用EFCore.BulkExtensions直接执行原生批量SQL，大幅提升写入速度：

// 安装NuGet包后使用
await context.BulkInsertAsync(countryBatch);
await context.BulkInsertAsync(cityBatch);

注意：批量操作会绕过EF Core的验证与变更跟踪，需确保数据合法性。

4. 临时禁用数据库索引与约束 #

导入前禁用表的索引、外键约束，导入完成后重建，避免写入时频繁维护索引：

// 禁用外键约束
await context.Database.ExecuteSqlRawAsync("ALTER TABLE Cities NOCHECK CONSTRAINT FK_Cities_Countries_CountryId");
// 禁用索引
await context.Database.ExecuteSqlRawAsync("ALTER INDEX IX_Cities_CountryId ON Cities DISABLE");

// 执行批量插入...

// 重建索引并启用约束
await context.Database.ExecuteSqlRawAsync("ALTER INDEX IX_Cities_CountryId ON Cities REBUILD");
await context.Database.ExecuteSqlRawAsync("ALTER TABLE Cities CHECK CONSTRAINT FK_Cities_Countries_CountryId");

三、内存与资源优化 #

1. 减少对象拷贝 #

直接将JSON反序列化为Country、City实体，避免中间DTO转换，减少对象创建与内存占用。

2. 复用DbContext #

使用ASP.NET Core的IDbContextFactory获取池化DbContext，避免频繁创建销毁实例：

var context = _dbContextFactory.CreateDbContext();
try
{
    // 执行批量操作
}
finally
{
    await context.DisposeAsync();
}

3. 可控并行处理 #

若数据无依赖关系（如先批量导入所有国家，再导入城市），可采用并行处理提升效率，控制并发度避免数据库连接池耗尽：

var parallelOptions = new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount };
await Parallel.ForEachAsync(countryBatches, parallelOptions, async (batch, token) =>
{
    using var context = _dbContextFactory.CreateDbContext();
    await context.BulkInsertAsync(batch);
});

四、额外优化建议 #

• 替换JSON库：使用Utf8Json或SpanJson替代默认序列化库，提升反序列化速度。
• 存储介质：将JSON文件放在SSD上，加快读取速度。
• 数据库配置：批量导入期间切换为简单恢复模式，减少事务日志写入；调整数据库连接池大小，适配并发需求。

内容的提问来源于stack exchange，提问作者mdx90