未知待处理总条目数时，爬虫生产者消费者模型如何停止队列处理？

核心思路 #

将全局线程安全计数和原有空队列超时逻辑结合，仅需2个原子计数器即可同时覆盖大小页面量的两种退出场景，无额外复杂依赖，也能避免竞态问题。

具体实现 #

你需要新增两个全局线程安全计数变量：

• AtomicInteger totalSubmitted：统计已经提交处理的不重复页面总数，初始值为0
• AtomicInteger runningTasks：统计正在运行的爬取任务数，初始值为0

调整后的循环逻辑如下：

int retryCount = 0;
int crawlThreshold = 500; // 总爬取量阈值
int retryThreshold = 10; // 空队列重试阈值，单位为秒
AtomicInteger totalSubmitted = new AtomicInteger(0);
AtomicInteger runningTasks = new AtomicInteger(0);

while(true){
    // 达到爬取阈值且所有运行中任务结束，直接主动退出
    if(totalSubmitted.get() >= crawlThreshold && runningTasks.get() == 0){
        break;
    }
    
    if(!queue.empty() && totalSubmitted.get() < crawlThreshold){
        runningTasks.incrementAndGet();
        // 多线程执行process，任务结束后回调减少运行中计数
        process(queue.poll(), () -> {
            runningTasks.decrementAndGet();
        });
        retryCount = 0; // 重置重试计数
    }else{
        Thread.sleep(1000); // 等待1秒后重试
        if(retryCount == retryThreshold){
            break;
        }
        retryCount++;
    }
}

注意：totalSubmitted的计数操作要放在processed去重校验通过之后、新链接加入队列之前执行，只有未爬取过的有效链接才占用阈值额度，避免重复链接导致计数不准。

场景适配验证 #

• 小页面量场景：总页面数低于阈值时，totalSubmitted永远不会触发阈值判断，队列空后会走原有重试逻辑，达到重试次数后退出，完全兼容原有的网络延迟超时保护能力。
• 大页面量场景：总页面数超过阈值时，totalSubmitted达到阈值后就不再从队列取新任务，等待正在运行的任务全部结束后直接主动退出，无需等待超时。

方案优势 #

1. 实现复杂度极低，仅用JDK自带的原子类即可保证线程安全，无需维护复杂的种子维度计数器Map
2. 两种场景都有对应的主动退出逻辑，无需单独依赖超时作为唯一退出条件，逻辑更优雅
3. 完全兼容你原有代码的重试超时能力，不需要改动现有爬取、去重的核心逻辑

内容的提问来源于stack exchange，提问作者v1shnu