UNION结果去重及社交网站搜索SQL查询异常问题求助

听起来你在做社交网站搜索栏的SQL查询时遇到了两个头疼的问题：错误结果（你怀疑和最后一个UNION有关）以及重复的用户ID结果。我来帮你一步步排查和解决这些问题～

一、先搞定重复用户ID的问题 #

你的查询返回重复用户ID，大概率是因为同一个用户在多个UNION的子查询里都匹配到了关键词（比如用户的用户名包含' web '，同时他发的帖子也包含这个关键词）。UNION本身会去重，但只针对整行数据完全相同的情况，如果两行的user_id相同但其他字段（比如匹配内容、匹配类型）不同，UNION还是会保留这两行。

解决方案：按用户ID去重，优先显示更相关的结果 #

推荐用窗口函数ROW_NUMBER()来给每个用户的匹配结果排序，只保留优先级最高的那一条。举个具体的例子：

假设你的原始查询是这样的：

-- 匹配用户资料
SELECT user_id, username AS match_content, 'profile' AS match_type 
FROM users 
WHERE username LIKE '% web %'

UNION

-- 匹配用户帖子
SELECT user_id, post_content AS match_content, 'post' AS match_type 
FROM posts 
WHERE post_content LIKE '% web %'

UNION

-- 最后一个UNION：匹配用户加入的群组
SELECT user_id, group_name AS match_content, 'group' AS match_type 
FROM groups 
WHERE group_name LIKE '% web %'

改成带窗口函数的查询，就能实现按用户ID去重：

WITH search_results AS (
    -- 给不同类型的匹配设置优先级（1最高，数字越大优先级越低）
    SELECT user_id, username AS match_content, 'profile' AS match_type, 1 AS priority 
    FROM users 
    WHERE username LIKE '% web %'

    UNION ALL  -- 用UNION ALL比UNION更高效，因为不需要提前去重
    SELECT user_id, post_content AS match_content, 'post' AS match_type, 2 AS priority 
    FROM posts 
    WHERE post_content LIKE '% web %'

    UNION ALL
    -- 这里假设最后一个查询是用户加入的群组，需要关联中间表避免错误
    SELECT ug.user_id, g.group_name AS match_content, 'group' AS match_type, 3 AS priority 
    FROM user_groups ug
    JOIN groups g ON ug.group_id = g.group_id
    WHERE g.group_name LIKE '% web %'
)
-- 每个用户只取优先级最高的一条结果
SELECT user_id, match_content, match_type
FROM (
    SELECT *, 
           ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY priority) AS rn
    FROM search_results
) ranked_results
WHERE rn = 1;

这样每个用户ID只会出现一次，而且你可以通过调整priority的数值来控制哪种匹配结果优先显示（比如用户资料匹配>帖子匹配>群组匹配）。

二、排查最后一个UNION导致的错误结果 #

你怀疑错误结果来自最后一个UNION，那可以从这几个方向排查：

1. 检查UNION的列结构是否一致 #

UNION要求所有子查询的列数、列数据类型、列顺序必须完全一致，否则会出现不可预期的错误结果（甚至直接报错）。比如前面的子查询返回user_id(INT), match_content(VARCHAR), match_type(VARCHAR)，最后一个子查询也必须严格对应这三个字段的类型和顺序，不能多列或少列，也不能把INT类型的字段放到VARCHAR的位置。

2. 检查最后一个查询的逻辑是否正确 #

• 如果最后一个查询是匹配群组，是不是直接查了groups表而没关联用户？比如只查了名称包含' web '的群组，但返回的user_id是群组创建者的ID，而不是加入该群组的用户ID？这时候就需要关联用户和群组的中间表（比如user_groups），像上面例子里那样，确保返回的是确实加入了该群组的用户。
• 检查LIKE条件是不是写错了？比如你要搜的是包含' web '（前后带空格），是不是最后一个查询里写成了'%web%'（不带空格），导致匹配了更多无关结果？
• 有没有可能最后一个查询的表关联错误，比如关联了错误的字段，导致返回了不属于目标用户的数据？

3. 单独运行最后一个UNION的子查询 #

把最后一个子查询单独拿出来执行，看看返回的结果是不是符合预期。如果单独执行就有错误结果，那问题就出在这个子查询本身，和UNION无关，针对性调整即可。

最后总结 #

1. 先确保所有UNION子查询的列结构完全一致，这是UNION查询的基础要求；
2. 用窗口函数按用户ID分组筛选，解决重复用户ID的问题；
3. 单独排查最后一个子查询的逻辑、条件和关联关系，定位错误结果的来源。

内容的提问来源于stack exchange，提问作者Charlie Felix