如何在QueryDSL中消除数据重复？需满足单查询、投影与transform要求

核心思路 #

放弃Left Join后再去重的思路，改用聚合函数将关联的Image字段打包成集合，这样每条Book记录只会返回一行，天然避免数据重复，同时能完整保留对应Image列表，分页逻辑也能基于去重后的Book行数正常生效。

具体实现（按常见SQL方言分类） #

1. MySQL 8.0+/MariaDB #

使用JSON_ARRAYAGG()将关联Image字段聚合为JSON数组，方便transform阶段直接解析：

SELECT 
    b.book_id,
    b.book_name,
    JSON_ARRAYAGG(i.image_url) AS image_list
FROM book b
LEFT JOIN image i ON b.book_id = i.book_id
GROUP BY b.book_id, b.book_name
ORDER BY b.book_id
LIMIT 10 OFFSET 0;

拿到结果后，transform阶段直接解析image_list这个JSON数组，就能得到对应Book的所有Image集合，分页的LIMIT/OFFSET基于去重后的Book行数计算，完全符合预期。

2. PostgreSQL #

用原生的ARRAY_AGG()聚合数组，更贴合PostgreSQL的语法特性：

SELECT 
    b.book_id,
    b.book_name,
    ARRAY_AGG(i.image_url) AS image_list
FROM book b
LEFT JOIN image i ON b.book_id = i.book_id
GROUP BY b.book_id, b.book_name
ORDER BY b.book_id
LIMIT 10 OFFSET 0;

transform阶段直接读取image_list数组即可，单条Book对应一行数据，分页逻辑准确。

3. 低版本MySQL兼容方案 #

如果使用不支持JSON聚合的老版本MySQL，可通过GROUP_CONCAT()拼接字符串，再在transform阶段拆分：

SELECT 
    b.book_id,
    b.book_name,
    GROUP_CONCAT(i.image_url SEPARATOR '|||') AS image_str
FROM book b
LEFT JOIN image i ON b.book_id = i.book_id
GROUP BY b.book_id, b.book_name
ORDER BY b.book_id
LIMIT 10 OFFSET 0;

transform时将image_str按自定义分隔符（比如|||）拆分成列表即可，注意要确保Image字段本身不会包含该分隔符。

关键注意事项 #

• 分组时必须包含所有需要投影的Book字段（如book_id、book_name），避免分组逻辑错误导致字段丢失。
• 针对Left Join场景下Image可能为NULL的情况，可通过COALESCE()处理空集合：例如COALESCE(JSON_ARRAYAGG(i.image_url), JSON_ARRAY())，保证无Image时返回空数组而非NULL。
• 分页的ORDER BY必须放在GROUP BY之后，基于分组后的Book数据排序，确保分页结果正确。

内容的提问来源于stack exchange，提问作者Person239183218930