如何优化异步List转HashSet实现并保留异步行为？

当前代码的核心问题是先把所有查询结果加载到内存再去重，数据量大时内存开销较高。更优的思路是让数据库层面先完成去重，再异步加载到内存转成HashSet，既能保留异步行为，又能大幅减少内存处理的数据量。

基础去重写法（适配所有EF Core版本） #

利用EF Core的Distinct方法，它会被翻译成SQL的DISTINCT语句，让数据库直接返回去重后的结果：

_items = (await _itemRepository.GetItems()
                               .Select(x => new ThiShinnyLocalObject
                                           {
                                               Id = x.Id,
                                           })
                               .Distinct() // 数据库层面执行去重
                               .ToListAsync())
                               .ToHashSet();

按指定字段精准去重（EF Core 7+ 推荐） #

如果需要明确按某个字段（比如示例中的Id）去重，EF Core 7及以上版本提供的DistinctBy方法语义更清晰，避免歧义：

_items = (await _itemRepository.GetItems()
                               .Select(x => new ThiShinnyLocalObject
                                           {
                                               Id = x.Id,
                                           })
                               .DistinctBy(x => x.Id) // 精准按Id字段去重
                               .ToListAsync())
                               .ToHashSet();

关键注意事项 #

• ToHashSet是纯内存操作，本身没有异步实现，因此必须先通过ToListAsync异步加载数据到内存，再转成HashSet，这一步逻辑无法省略。
• 确保ThiShinnyLocalObject正确实现了Equals和GetHashCode方法（如果是自定义引用类型），否则Distinct和ToHashSet会按引用地址比较，无法正确识别重复对象。如果是值类型或匿名类型则无需额外处理。

内容的提问来源于stack exchange，提问作者Muffun