如何用LINQ高效筛选存在特定列重复的行？

嘿，作为LINQ新手，你的需求其实很常见，而且有比手动排序匹配高效得多的实现方式！核心思路是先找出所有重复的列值，再用这些值去筛选原数据集，这样就能直接跳过那些没有匹配的行，避免不必要的计算。

单个列重复的情况（比如共享电话号码） #

以你提到的Person类中的Phone列为例，我们可以分两步走：

1. 先提取所有存在重复的电话号码：
   用GroupBy按电话号码分组，然后过滤出分组数量大于1的组（也就是有多个用户共享的号码），最后提取这些重复的号码值。
2. 用这些重复号码去筛选原数据集，得到所有拥有重复号码的人员。

代码示例：

// 第一步：找出所有重复的电话号码
var duplicatePhones = people
    .GroupBy(person => person.Phone)
    .Where(group => group.Count() > 1)
    .Select(group => group.Key);

// 第二步：筛选出使用这些重复号码的人员
var peopleWithDuplicatePhones = people
    .Where(person => duplicatePhones.Contains(person.Phone));

多个列组合重复的情况（比如AddressLine1+PostalCode） #

如果你需要筛选的是多列组合重复的行（比如你之前排序用到的地址和邮编），可以用匿名类型作为GroupBy的分组键——匿名类型会自动比较所有属性的值，完美适配多列组合的场景：

// 第一步：找出重复的地址+邮编组合
var duplicateAddressPostalPairs = people
    .GroupBy(person => new { person.AddressLine1, person.PostalCode })
    .Where(group => group.Count() > 1)
    .Select(group => group.Key);

// 第二步：筛选出拥有这些重复组合的人员
var peopleWithDuplicateAddress = people
    .Where(person => duplicateAddressPostalPairs.Contains(
        new { person.AddressLine1, person.PostalCode }));

为什么这个方法更高效？ #

• 时间复杂度更优：GroupBy内部采用哈希表实现分组，时间复杂度是O(n)；而排序的时间复杂度是O(n log n)，数据量越大，效率差距越明显。
• 避免无效计算：我们先筛选出重复的键值，再去原数据集匹配，直接跳过了那些没有重复的行，不用对所有数据做后续处理。
• 适配ORM场景：如果你的数据来自Entity Framework这类ORM，这种写法会被自动转换成SQL的IN子查询，数据库层面会高效执行，不用把全量数据拉到内存处理。

注意事项 #

如果你的列可能存在null值（比如Phone可能为空），可以在分组时处理null，避免把所有null值归为一组（根据你的业务需求调整）：

// 将null替换为空字符串，把所有空号码视为同一组
var duplicatePhones = people
    .GroupBy(person => person.Phone ?? string.Empty)
    .Where(group => group.Count() > 1)
    .Select(group => group.Key);

内容的提问来源于stack exchange，提问作者Alasdair Hutchinson