Java中固定页大小（100）但未知总页数时的分页查询迭代方案及批量校验优化咨询

一、解决分页迭代次数的问题：循环遍历直到无数据返回 #

你不需要预先知道总页数，只需要通过循环递增页码，直到获取的分页内容为空（或分页对象标记为最后一页）即可。这里可以用do-while循环来实现，核心逻辑是从第1页开始，每次请求后页码+1，直到没有更多数据：

int pageSize = 100;
int currentPage = 1;
Filter filter = Filters.in("usedBy", "policy");

do {
    // 构造当前页的查询请求
    Query query = new Query.Builder()
            .setPageRequest(currentPage, pageSize)
            .setFilter(filter)
            .build();
    Page<Resource.Class> pg = service.getPageByQuery(securityContext, query);
    
    // 终止条件1：当前页无内容，说明已经遍历完所有数据
    if (pg.getContent().isEmpty()) {
        break;
    }
    
    // 处理当前页的校验逻辑
    doCheck(pg);
    
    // 终止条件2：如果分页对象支持isLast()方法，直接判断是否为最后一页
    if (pg.isLast()) {
        break;
    }
    
    // 页码递增，准备下一页查询
    currentPage++;
} while (true);

逻辑说明：

• 从第1页开始迭代，每次请求后页码自增
• 双重终止保障：既判断当前页内容是否为空，也利用分页对象的isLast()（如果你的Page实现支持该方法）提前终止循环
• 完全不需要关心总页数，自动遍历所有符合条件的数据

二、更优方案推荐：优先使用滚动分页（Keyset Pagination） #

你当前的实现是基于偏移量分页（页码+页大小），当数据量极大时（比如第1000页），数据库需要跳过前面99900条数据，性能会随页码增加而下降。如果你的业务允许，推荐使用滚动分页（游标分页），基于唯一有序字段（如id、createTime）作为游标，避免偏移量的性能问题：

int pageSize = 100;
Filter baseFilter = Filters.in("usedBy", "policy");
Long lastResourceId = null; // 游标：记录上一页最后一条数据的ID
Page<Resource.Class> pg;

do {
    Filter currentFilter;
    if (lastResourceId == null) {
        // 第一次查询：仅使用基础过滤条件
        currentFilter = baseFilter;
    } else {
        // 后续查询：在基础过滤条件上，追加"ID > 上一页最后ID"的游标条件
        currentFilter = Filters.and(
                baseFilter,
                Filters.gt("id", lastResourceId)
        );
    }

    Query query = new Query.Builder()
            .setPageRequest(1, pageSize) // 页码固定为1，因为基于游标定位
            .setFilter(currentFilter)
            .sortBy(Sorts.asc("id")) // 必须按游标字段升序/降序排序，保证顺序一致
            .build();
    pg = service.getPageByQuery(securityContext, query);
    
    if (pg.getContent().isEmpty()) {
        break;
    }

    doCheck(pg);
    // 更新游标为当前页最后一条数据的ID
    lastResourceId = pg.getContent().get(pg.getContent().size() - 1).getId();
} while (true);

滚动分页的优势：

• 性能稳定：无论数据量多大，每次查询的性能基本一致，不会因为页码增大而变慢
• 避免数据漏查/重复：如果在迭代过程中有数据新增/删除，偏移量分页可能出现重复或漏查，而滚动分页基于唯一游标字段，能保证数据一致性（只要游标字段不会被修改）

三、其他可选优化方案 #

1. 利用迭代器自动分页
   如果你的service提供了返回Iterable<Resource.Class>的接口（内部自动处理分页加载），可以直接遍历迭代器，批量收集100条数据后再执行校验：

Filter filter = Filters.in("usedBy", "policy");
Query query = new Query.Builder().setFilter(filter).build();
Iterable<Resource.Class> allResources = service.iterateByQuery(securityContext, query);

List<Resource.Class> batch = new ArrayList<>(100);
for (Resource.Class resource : allResources) {
    batch.add(resource);
    if (batch.size() == pageSize) {
        doCheck(new PageImpl<>(batch)); // 或修改doCheck支持直接接收List
        batch.clear();
    }
}
// 处理剩余不足100条的批量
if (!batch.isEmpty()) {
    doCheck(new PageImpl<>(batch));
}

这种方式不需要手动管理页码，所有分页逻辑由service内部封装，代码更简洁。

2. 并行处理（谨慎使用）
   如果doCheck方法是线程安全的，且系统资源允许，可以考虑并行处理多页数据（比如同时处理2-3页），但要注意控制并发数，避免给service或数据库造成过大压力：

// 示例：用CompletableFuture并行处理，需根据实际情况调整并发数
ExecutorService executor = Executors.newFixedThreadPool(3);
List<CompletableFuture<Void>> futures = new ArrayList<>();

// （先按偏移量/滚动分页获取所有page）
while (hasNextPage) {
    Page<Resource.Class> pg = getNextPage();
    futures.add(CompletableFuture.runAsync(() -> doCheck(pg), executor));
}

// 等待所有任务完成
CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join();
executor.shutdown();

总结 #

• 对于迭代次数问题：用do-while循环递增页码，直到分页内容为空即可，无需预先知道总页数
• 更优方案：优先选择滚动分页优化性能；如果service支持迭代器接口，直接使用迭代器批量处理会更简洁
• 严格遵守每次最多处理100条的约束，避免一次性加载全量数据导致的性能问题

备注：内容来源于stack exchange，提问作者raga_717