JPA Repository多表查询返回重复结果，如何保留分页并去重？

问题根源 #

当Document实体关联多个OneToMany子表时，JPA生成的左外连接SQL会将每个子表的匹配记录与父表记录进行笛卡尔积组合，导致结果集爆炸——120条父表记录会因关联子表的多条记录生成大量重复副本。

可行解决方案 #

1. 用DISTINCT直接去重 #

在Spring Data JPA中，有两种方式实现：

• 方法命名自动生成：

  Page<Document> findDistinctBy[你的查询条件]([参数列表], Pageable pageable);
  

• 自定义JPQL查询：

  @Query("SELECT DISTINCT d FROM Document d LEFT JOIN d.subEntity1 s1 LEFT JOIN d.subEntity2 s2 WHERE [你的搜索条件]")
  Page<Document> searchDocuments([参数列表], Pageable pageable);
  

注意：必须正确实现Document类的equals()和hashCode()方法（建议基于主键id实现），否则JPA无法正确识别重复实体。

2. 子查询筛选ID后再查实体 #

如果关联表数据量极大，DISTINCT可能带来性能损耗，可先通过子查询获取符合条件的Document主键列表，再根据主键查询完整实体，同时指定准确的计数查询保证分页正确：

@Query(value = "SELECT d FROM Document d WHERE d.id IN (" +
               "SELECT DISTINCT doc.id FROM Document doc LEFT JOIN doc.subEntity1 s1 LEFT JOIN doc.subEntity2 s2 WHERE [你的搜索条件])",
       countQuery = "SELECT COUNT(DISTINCT doc.id) FROM Document doc LEFT JOIN doc.subEntity1 s1 LEFT JOIN doc.subEntity2 s2 WHERE [你的搜索条件]")
Page<Document> searchDocuments([参数列表], Pageable pageable);

这种方式能避免笛卡尔积带来的结果集膨胀，查询效率更优。

3. 分组查询去重 #

通过按Document主键分组，强制数据库返回唯一的父表记录：

@Query("SELECT d FROM Document d LEFT JOIN d.subEntity1 s1 LEFT JOIN d.subEntity2 s2 WHERE [你的搜索条件] GROUP BY d.id")
Page<Document> searchDocuments([参数列表], Pageable pageable);

注意：部分数据库（如MySQL）默认开启ONLY_FULL_GROUP_BY模式，要求SELECT子句中的列必须包含在GROUP BY中或为聚合函数，需根据数据库特性调整配置或查询语句。

4. 调整关联抓取策略（仅限特定场景） #

如果查询不需要立即加载关联的子实体，可将OneToMany关联的抓取类型设为LAZY，避免左外连接生成大量重复数据：

@OneToMany(mappedBy = "document", fetch = FetchType.LAZY)
private List<SubEntity1> subEntity1List;

但此方法仅适用于不需要使用子实体数据的场景，否则会触发懒加载的N+1查询问题。

核心注意点 #

• 分页的计数查询必须与数据查询逻辑保持一致（比如同样使用DISTINCT或子查询计数），否则会导致分页总页数计算错误。
• 实体类的equals()和hashCode()是JPA内存去重的关键，务必基于稳定的主键实现，不要依赖关联实体的属性。

内容的提问来源于stack exchange，提问作者Greggy