Kotlin优化：避免映射与Find，高效实现Subtract和Intersect数据对比

核心优化方向 #

避免先转ID集合再二次查询的冗余操作，通过内存直接映射或数据库批量查询，减少IO次数与内存遍历开销。

方案一：内存全量映射对比（适合中小数据量场景） #

1. 一次性从数据库拉取完整标题实体，用字典构建ID到实体的映射（O(1)查找效率）
2. 遍历传入的TitleDto列表：
   • 字典中无对应ID：标记为新增
   • 字典中有对应ID：对比Dto与实体的字段差异，有变化则标记为更新，同时从字典中移除该条目
3. 遍历结束后，字典剩余条目即为需删除的数据

代码示例（C#）：

// 拉取全量数据并构建ID映射字典
var dbTitleMap = dbContext.Titles.ToDictionary(t => t.Id);
var incomingDtos = GetIncomingTitleDtos();

var toAdd = new List<TitleDto>();
var toUpdate = new List<(Title Existing, TitleDto Updated)>();

foreach (var dto in incomingDtos)
{
    if (dbTitleMap.TryGetValue(dto.Id, out var existing))
    {
        // 自定义字段对比逻辑，比如检查名称、内容等关键字段
        if (!IsTitleMatch(existing, dto))
        {
            toUpdate.Add((existing, dto));
        }
        dbTitleMap.Remove(dto.Id);
    }
    else
    {
        toAdd.Add(dto);
    }
}

// 字典剩余项即为待删除数据
var toDelete = dbTitleMap.Values.ToList();

方案二：数据库批量查询优化（适合大数据量场景） #

如果全量数据内存放不下，避免全表查询，只按需拉取必要数据：

1. 提取Dto的ID集合，用集合运算筛选出新增、更新、删除的ID范围
2. 针对更新ID批量查询实体，替代逐个Find操作
3. 删除操作可直接通过ID批量执行，无需拉取实体（如果不需要实体数据的话）

代码示例（C#）：

var dtoIds = incomingDtos.Select(d => d.Id).ToHashSet();
var dbIds = dbContext.Titles.Select(t => t.Id).ToHashSet();

// 新增：Dto有、数据库无的ID
var addIds = dtoIds.Except(dbIds);
var toAdd = incomingDtos.Where(d => addIds.Contains(d.Id)).ToList();

// 更新：双方共有的ID，批量查询实体
var updateIds = dtoIds.Intersect(dbIds);
var updateEntities = dbContext.Titles.Where(t => updateIds.Contains(t.Id)).ToList();
var toUpdate = updateEntities.Join(incomingDtos,
    e => e.Id,
    d => d.Id,
    (e, d) => (Existing: e, Updated: d))
    .Where(pair => !IsTitleMatch(pair.Existing, pair.Updated))
    .ToList();

// 删除：数据库有、Dto无的ID，直接批量删除
dbContext.Titles.Where(t => dbIds.Except(dtoIds).Contains(t.Id)).ExecuteDelete();

关键优化细节 #

• 用字典映射替代遍历对比，把内存查找效率从O(n)降到O(1)
• 把多次单条查询改成批量查询，减少数据库IO次数
• 对比字段时，只检查业务相关的关键字段，避免无意义的全字段对比
• 删除操作若不需要实体数据，直接用ExecuteDelete执行批量删除，跳过实体拉取步骤

内容的提问来源于stack exchange，提问作者Calum Templeton