SQL Server中使用DISTINCT或UNION仍返回重复数据的解决方法咨询

看起来你遇到的核心问题是看似重复的文本其实存在细微的隐形差异——这是处理字符串重复时超级常见的坑！我帮你拆解下原因和解决步骤：

首先排查隐形差异（90%的情况都是这个原因） #

肉眼看起来完全一样的字符串，数据库可能会视为不同值，常见的隐形差异包括：

• 前后/中间空格：比如"张三 "（末尾有空格）和"张三"，或者"张 三"（中间两个空格）和"张三"
• 大小写差异：比如"Alice"和"alice"，部分数据库（如SQL Server）默认区分大小写
• 不可见特殊字符：换行符（\n）、制表符（\t）、全角空格这些肉眼看不到的字符

验证隐形差异的方法 #

拿一个你认为重复的fullname做测试，看看它们的真实长度和二进制编码：

-- 替换成你看到的重复名字
SELECT 
    fullname, 
    LENGTH(fullname) AS char_length,
    BINARY(fullname) AS binary_value
FROM tbllookupStudentInfo1
WHERE fullname LIKE '%张三%' -- 替换成目标名字
ORDER BY fullname;

如果返回的char_length不一样，或者binary_value不同，就说明确实有隐形差异。

清理数据后再去重 #

针对不同的差异类型，先清理字符串，再执行去重操作：

1. 处理空格和大小写 #

先统一清理前后空格、转成统一大小写，再去重：

SELECT DISTINCT
    TRIM(LOWER(fullname)) AS cleaned_fullname,
    TRIM(LOWER(RegistrationNumber)) AS cleaned_registration
FROM tbllookupStudentInfo1;

如果中间有多个连续空格，可以再加一步替换（以MySQL为例，其他数据库可以用类似逻辑）：

-- 把多个连续空格替换成单个空格
SELECT DISTINCT
    TRIM(LOWER(REGEXP_REPLACE(fullname, ' +', ' '))) AS cleaned_fullname,
    TRIM(LOWER(RegistrationNumber)) AS cleaned_registration
FROM tbllookupStudentInfo1;

2. 处理不可见特殊字符 #

如果是换行、制表符这类字符，直接替换掉：

SELECT DISTINCT
    TRIM(LOWER(REPLACE(REPLACE(fullname, CHAR(10), ''), CHAR(9), ''))) AS cleaned_fullname,
    TRIM(LOWER(RegistrationNumber)) AS cleaned_registration
FROM tbllookupStudentInfo1;

• CHAR(10)是换行符，CHAR(9)是制表符，全角空格可以用CHAR(12288)替换成半角空格' '

确认业务逻辑下的去重规则 #

如果清理后还是有重复，那要明确你的业务需求：

• 是要每个fullname唯一：不管RegistrationNumber，保留一个对应的编号即可

  SELECT
      TRIM(LOWER(fullname)) AS cleaned_fullname,
      MAX(RegistrationNumber) AS preferred_registration -- 用MAX/MIN选一个合适的编号
  FROM tbllookupStudentInfo1
  GROUP BY TRIM(LOWER(fullname));
  

• 还是要fullname+RegistrationNumber组合唯一：那清理后的DISTINCT应该就能解决，若还不行，检查是否有其他隐形差异

最后小提醒 #

如果以上步骤都试过还是有重复，那可以检查下数据库的排序规则（比如是否是区分大小写的排序规则），或者直接用GROUP BY替代DISTINCT，效果是一样的，但有时候能规避一些奇怪的数据库优化问题。

内容的提问来源于stack exchange，提问作者Awesome