Entity Framework Core 6/7子查询GroupBy跳过Null键问题及解决办法

问题场景 #

单独执行以下查询时，结果包含null值，符合预期：

query.GroupBy(x => x.Field).Select(x => x.Key).ToList();

结果：[null, "v1", "v2"]

但将该查询作为子查询嵌套到主查询中时，结果里的null键被跳过：

query
    .Take(1)
    .Select(x => new 
    { 
        x.Field2, 
        distinctValues = query.GroupBy(x=> x.Field).Select(x => x.Key).ToList()
    })
    .ToList();

结果：{Field2: "some value", distinctValues: ["v1","v2"]}

原因分析 #

这种差异源于LINQ Provider（如EF Core）对嵌套子查询的SQL转换逻辑差异：

• 单独执行GroupBy时，Provider会生成标准的GROUP BY SQL，而SQL的GROUP BY默认会保留NULL值的分组；
• 当GroupBy子查询嵌套在Select的匿名对象中时，Provider可能会触发查询优化，或者转换时因上下文（比如外层Take(1)的存在）改变了SQL生成逻辑，导致NULL分组被隐含过滤。

另外，Distinct无法完成查询转换的问题，本质是部分LINQ Provider无法将复杂场景下的Distinct表达式正确翻译成SQL，最终会 fallback 到内存中执行，带来性能损耗。

可行解决办法 #

• 显式处理NULL分组：分组时将NULL替换为特殊标记，查询后再还原，确保Provider不会过滤NULL值：

query.GroupBy(x => x.Field ?? "__NULL_MARKER__")
     .Select(g => g.Key == "__NULL_MARKER__" ? null : g.Key)
     .ToList();

• 提前执行子查询：先单独获取去重值，再嵌套到主查询中，绕开Provider的嵌套转换逻辑：

var distinctValues = query.GroupBy(x => x.Field).Select(x => x.Key).ToList();
var result = query.Take(1)
                  .Select(x => new 
                  { 
                      x.Field2, 
                      distinctValues = distinctValues 
                  })
                  .ToList();

• 使用原生SQL查询：直接编写保留NULL的原生SQL，确保SQL层面的逻辑符合预期：

// 假设使用EF Core，替换YourTable为实际表名
var distinctValues = context.Set<string>()
                            .FromSqlRaw("SELECT DISTINCT Field FROM YourTable")
                            .ToList();

• 自定义Distinct比较器：如果是内存中处理数据，可通过自定义比较器让Distinct识别NULL值，注意此方法会触发内存执行，不适用于大数据量：

query.Select(x => x.Field).Distinct(new NullAwareComparer<string>()).ToList();

// 自定义NULL感知比较器
public class NullAwareComparer<T> : IEqualityComparer<T> where T : class
{
    public bool Equals(T x, T y)
    {
        if (x == null && y == null) return true;
        if (x == null || y == null) return false;
        return x.Equals(y);
    }

    public int GetHashCode(T obj)
    {
        return obj?.GetHashCode() ?? 0;
    }
}

内容的提问来源于stack exchange，提问作者jjaskulowski