SpringBoot JPA Specification+Pageable分页去重后数据不一致问题

问题复现代码 #

PeopleSpec peopleSpec = new PeopleSpec(req.getSearchFilters(), jsonReqRes.getOrder());
int currentPage = req.getCurrentPage() - 1;
int elementForPage = req.getElementForPage() > 0 ? req.getElementForPage()
        : PrevConstants.ELEMENT_FOR_PAGE_DEFAULT;
Page<ViewPeople> entityPage = null;

entityPage = peopleRepository.findAll(peopleSpec, PageRequest.of(currentPage, elementForPage));
entityList = entityPage.getContent();

// 自定义按contract字段去重
HashSet<Object> seen=new HashSet<>();
entityList.removeIf(c -> !seen.add(Arrays.asList(c.getContract())));

// 此处出现异常：去重后结果集长度和原分页查询结果长度不一致
jsonReqRes.setResultList(resultList);
jsonReqRes.setTotalPages(entityPage.getTotalPages());
jsonReqRes.setTotalElements(entityPage.getTotalElements());

问题根因 #

• 现有逻辑执行顺序为数据库分页查询 -> 单页内存去重，JPA返回的totalElements、totalPages是基于未做contract字段去重的原始数据集统计的，和内存去重后的结果集没有关联，数值必然不匹配。
• PeopleSpec中配置的distinct属性是对JPA返回的整行实体做去重，仅能解决关联查询产生的整行重复问题，无法实现按contract单字段去重的需求。
• 仅在单页结果内做内存去重存在逻辑漏洞：重复的contract记录可能分布在不同分页中，跨页重复的数据无法被过滤，会导致前端翻页时看到重复的contract值。

解决方案 #

方案1：去重逻辑下推到数据库层（推荐，性能最优） #

将contract字段去重逻辑放在SQL执行阶段实现，保证分页统计、数据查询使用完全一致的去重规则，从根源避免元数据不匹配问题：

• 自定义Repository查询方法，编写JPQL/SQL时通过distinct或group by实现按contract字段去重
• 注意count统计语句必须同步使用count(distinct contract)逻辑，不能直接使用默认的count(*)，保证总条数统计准确
• 该方案下JPA返回的Page对象自带的总条数、总页数和去重后的结果完全匹配，无需额外内存处理，也不会出现跨页重复问题。

核心查询示例：

// 注意列表查询和count查询都要加contract维度的去重逻辑
@Query(
    value = "select distinct v from ViewPeople v where [匹配原有过滤规则]",
    countQuery = "select count(distinct v.contract) from ViewPeople v where [匹配原有过滤规则]"
)
Page<ViewPeople> findDistinctPageByContract(Specification<ViewPeople> spec, Pageable pageable);

方案2：全量ID去重后手动分页（适合小数据量场景） #

如果不方便修改底层查询逻辑，可以先拉取所有符合条件的数据主键，内存去重后手动实现分页：

1. 先查询所有符合过滤条件的ViewPeople主键和contract字段，在内存中按contract去重，得到去重后的全量ID集合
2. 基于去重后的ID集合长度计算真实的总元素数、总页数
3. 根据当前页码、每页条数从去重后的ID集合中截取当前页对应的ID分段，查询对应实体数据返回

• 缺点是数据量较大时，全量拉取主键会产生明显性能开销，仅适合千级以内数据量的场景。

方案3：逐页补数+单独count统计（折中方案） #

如果数据量较大不适合全量拉取，可以单独查询去重后的总条数，再逐页拉取数据补全当前页：

1. 单独执行count(distinct contract)查询，拿到去重后的真实总元素数，计算对应总页数
2. 从当前请求的页码开始，逐页调用原有分页查询接口，对每一页返回的数据做contract去重，将不重复的数据加入当前页结果集
3. 当当前页结果集大小达到配置的每页条数，或所有数据查询完毕时停止拉取，组装结果返回

• 该方案不需要全量拉取数据，但最坏场景下可能需要连续查询多个分页，极端情况下性能表现一般。

内容的提问来源于stack exchange，提问作者Alex