如何遍历JPA Criteria查询返回的所有分页数据？

我需要构建一个后台定时任务，定期处理数据库表中的全部数据。由于无法将所有数据加载到内存中，我需要将数据分批处理。但因查询使用了JPQL无法实现的复杂过滤逻辑，所以无法使用JPQL Stream返回类型。

为此，我编写了如下Criteria查询来返回单页Product数据。请问处理完一页后，如何遍历后续所有页面直至全部处理完成？

import org.springframework.data.jpa.repository.query.QueryUtils;

@Repository
@AllArgsConstructor
public class ProductRepositoryImpl implements CustomProductRepository {

    private final EntityManager entityManager;

    @Override
    public Page<Product> getProducts(Pageable pageable, /* fields used to filter the results */) {
        CriteriaBuilder criteriaBuilder = entityManager.getCriteriaBuilder();
        CriteriaQuery<Product> criteriaQuery = criteriaBuilder.createQuery(Product.class);
        Root<Product> root = criteriaQuery.from(Product.class);
        
        List<Predicate> predicates = getPredicates(/* fields used to filter the results */);

        criteriaQuery.where(combinePredicatesWithAndStatement(criteriaBuilder, predicates))
            .orderBy(QueryUtils.toOrders(pageable.getSort(), root, criteriaBuilder));

        List<Product> result = entityManager.createQuery(criteriaQuery)
            .setFirstResult((int) pageable.getOffset())
            .setMaxResults(pageable.getPageSize())
            .getResultList();

        CriteriaBuilder criteriaBuilderCount = entityManager.getCriteriaBuilder();
        CriteriaQuery<Long> countQuery = criteriaBuilderCount.createQuery(Long.class);
        Root<Product> rootCount = countQuery.from(Product.class);

        List<Predicate> predicatesCount = getPredicates(/* fields used to filter the results */);

        countQuery.select(criteriaBuilderCount.count(rootCount))
            .where(combinePredicatesWithAndStatement(criteriaBuilderCount, predicatesCount));

        Long totalElements = entityManager.createQuery(countQuery).getSingleResult();

        return new PageImpl<>(result, pageable, totalElements);
    }

    private List<Predicate> getPredicates(/* fields used to filter the results */) {
        List<Predicate> predicates = new ArrayList<Predicate>();
        // assemble predicates based on some complex conditions not replicable with JPQL
        return predicates;
    }

    private Predicate combinePredicatesWithAndStatement(CriteriaBuilder criteriaBuilder, List<Predicate> predicates) {
        return criteriaBuilder.and(predicates.stream().filter(Objects::nonNull).toArray(Predicate[]::new));
    }
}

解决方案 #

你可以通过循环分页查询的方式遍历所有数据，核心逻辑如下：

1. 基础循环分页实现

在定时任务类中编写循环逻辑，从第0页开始逐页获取数据，直到返回的页面数据为空或不足一页数量时停止：

@Service
public class ProductBatchProcessingTask {

    private final CustomProductRepository productRepository;
    // 每页处理数量，根据内存承载能力调整
    private static final int PAGE_SIZE = 1000;

    public ProductBatchProcessingTask(CustomProductRepository productRepository) {
        this.productRepository = productRepository;
    }

    @Scheduled(cron = "0 0 2 * * ?") // 每天凌晨2点执行任务
    public void batchProcessProducts() {
        int pageNum = 0;
        Page<Product> productPage;

        do {
            // 保持固定排序规则，避免数据重复/遗漏，示例按id升序
            Pageable pageable = PageRequest.of(pageNum, PAGE_SIZE, Sort.by("id").ascending());
            productPage = productRepository.getProducts(pageable, /* 传入你的过滤参数 */);
            
            // 处理当前页数据
            processProductBatch(productPage.getContent());

            pageNum++;
            // 清空EntityManager一级缓存，避免内存溢出
            entityManager.clear();
        } while (!productPage.getContent().isEmpty() && productPage.getContent().size() == PAGE_SIZE);
    }

    private void processProductBatch(List<Product> products) {
        // 编写你的业务处理逻辑
        for (Product product : products) {
            // 处理单个Product
        }
    }
}

2. 关键注意事项

• 稳定排序规则：必须使用固定且唯一的排序字段（如主键id），否则分页过程中可能出现数据重复或丢失的情况。
• 清理缓存：每次处理完一页后调用entityManager.clear()，清除JPA一级缓存中已处理的实体，避免内存占用过高。
• 优化count查询：原代码每次分页都会执行count查询，大数据量场景下会影响性能。可以改为只在首次查询时获取总条数，后续通过判断当前页元素数量是否等于PAGE_SIZE来判断是否还有下一页。

3. 滚动分页优化（大数据量场景）

如果数据量极大，偏移量分页（setFirstResult）在页码较大时性能会急剧下降，建议改用滚动分页：

1. 首次查询获取第一页数据，记录最后一条数据的排序字段值（如lastId）。
2. 下一页查询时，在Criteria中添加id > lastId的过滤条件，结合排序规则获取下一页数据。
3. 重复上述步骤直到返回数据为空。

这种方式避免了大偏移量导致的全表扫描，性能更优，但需要修改Criteria查询逻辑，添加基于上一页末尾数据的过滤条件。

内容的提问来源于stack exchange，提问作者Giacomo Venturini