为何添加Distinct()可修复LINQ/EFCore随机执行超时问题？

云原生阿岚

2026-7-20

问题描述

我有一个LINQ预处理查询，内连接了约20张表，使用延迟执行因此尚未调用ToList()方法。

首先从该查询中提取特定列：

var specificColumns =
                from c in preparationQuery
                select new
                {
                    c.Col1,
                    c.Col2,
                    c.Col3,
                    c.Col4,
                    c.Col5,
                    // ...更多列
                };

接着筛选出更具体的数据集：

var moreSpecificColumns = 
                from c in specificColumns
                where c.Col5 > 0
                select new
                {
                    c.Col1,
                    c.Col2,
                    c.Col3
                };

之后基于这个数据集执行多表关联查询，这是第一次调用ToListAsync()枚举集合：

var result = (from c in moreSpecificColumns
                join cci in Db.Table1 on c.Col1 equals cci.Col1
                join ceo in Db.Table2 on cci.SomeId equals ceo.SomeId
                join cbmo in Db.Table3 on cci.SomeId equals cbmo.SomeId
                join cwo in Db.Table4 on cci.SomeId equals cwo.SomeId
                join cb in Db.Table5 on new
                {
                    cci.SomeId,
                    SomeColumnName = c.Col2,
                    cci.SomeId,
                    cci.SomeOtherId,
                    c.Col3
                } equals new
                {
                    cb.SomeColumnName,
                    cb.SomeId,
                    cb.SomeOtherId,
                    cb.AnotherId,
                    cb.AndAnotherId
                }
                join cbuo in Db.Table6 on cb.SomeId equals cbuo.SomeId
                join ceoLkv in Db.Table7 on new {KeyId = ceo.SomeId ?? 0, LCID = SomeId} equals new {ceoLkv.KeyId, ceoLkv.LCID}
                    into ceoLkvs
                from ceoLkv in ceoLkvs.DefaultIfEmpty()
                join cbmoLkv in Db.Table7 on new {KeyId = cbmo.SomeId ?? 0, LCID = SomeId} equals new {cbmoLkv.KeyId, cbmoLkv.LCID}
                    into cbmoLkvs
                from cbmoLkv in cbmoLkvs.DefaultIfEmpty()
                join cwoLkv in Db.Table7 on new {KeyId = cwo.SomeId ?? 0, LCID = SomeId} equals new {cwoLkv.KeyId, cwoLkv.LCID}
                    into cwoLkvs
                from cwoLkv in cwoLkvs.DefaultIfEmpty()
                where cci.DeletedDate == null
                select new
                {
                    Col1 = ceoLkv != null ? ceoLkv.DisplayValue : ceo.Name,
                    Col2 = cbmoLkv != null ? cbmoLkv.DisplayValue : cbmo.Name,
                    Col3 = cwoLkv != null ? cwoLkv.DisplayValue : cwo.Name,
                    Col5 = cbuo.Name,
                    cci.Col6,
                    cci.Col7,
                    cci.Col8,
                    cci.Col9,
                    cci.Col10,
                    cci.Col11
                }).ToListAsync(cancellationToken);

这个查询95%的情况能正常运行，但存在边缘场景会触发LINQ/EFCore执行超时。调试确认数据量无异常：所有表条目不超过3000条，每次请求最多返回1000条记录（通常约150条），超时随机发生且与集合大小无关。

我发现给moreSpecificColumns添加.Distinct()后，所有超时问题都得到解决，且返回的唯一记录数和不加Distinct()时完全一致。将最终LINQ转换为T-SQL后，唯一区别就是SELECT语句多了DISTINCT关键字。

核心问题：在返回数据集无实际差异的情况下，Distinct()为何能修复边缘场景的超时问题？

原因分析

虽然表面上Distinct()没有改变返回的数据集，但它实际上通过影响EF Core生成的SQL语句的执行计划，解决了超时问题，核心原因有以下几点：

引导优化器选择更优执行路径
数据库查询优化器处理带DISTINCT的查询时，会优先考虑去重逻辑，这可能让优化器放弃原本低效的执行计划（比如先执行全量多表关联再筛选），转而先对moreSpecificColumns对应的子查询做处理，减少后续关联操作的数据集基数，避免大量中间结果拖慢查询速度。
触发临时物化与索引利用
DISTINCT可能会触发数据库将moreSpecificColumns的子查询结果临时物化（比如生成临时表），如果Col1、Col2、Col3存在合适的索引，优化器会优先利用这些索引完成去重，间接让后续的多表关联能更快匹配数据。
消除隐含的冗余中间行
即使表面没有重复数据，原始的20表关联查询可能隐含重复的Col1/Col2/Col3组合（比如某些表的连接逻辑导致同一组合被多次输出，后续筛选才消除）。这些隐含重复会让后续多表关联产生大量不必要的中间行，DISTINCT提前消除冗余，减少关联阶段的计算量。
打破优化器的低效启发式选择
对于多表+左连接的复杂查询，数据库优化器有时会做出不理想的执行计划选择，而DISTINCT相当于给优化器一个“重新评估成本”的提示，使其选择更高效的计划。这种情况在数据分布出现边缘变化（比如某几行数据的关联键分布特殊）时尤为明显，这也是超时随机发生的原因。

总结来说，Distinct()的作用不是消除可见重复，而是通过改变查询的逻辑结构，引导数据库优化器选择更高效的执行计划，从而解决边缘场景下的超时问题。

内容的提问来源于Stack Exchange，提问作者MicroDev92