PhantomJS循环爬取多页仅返回最后一页结果，求解决方案

你碰到的这个问题其实很典型——同步的while循环和PhantomJS异步的page.open回调完全不兼容。你的循环会以极快的速度把所有页面请求都发出去，但等到这些异步回调执行的时候，循环早就跑完了，address、page这些变量都已经指向最后一次循环的取值，自然只能拿到最后一页的结果。

要解决这个问题，我们得把同步循环改成递归式的异步处理：每处理完一页的回调逻辑，再去读取下一行并发起新的页面请求，这样就能保证每一页的上下文都是独立的，不会被后续请求覆盖。

下面是修改后的完整代码：

var _output = {'cookies':[],'resources':{'js':[]}}; 
var fs = require('fs'); 
var file_h = fs.open('file.csv', 'r');

// 定义递归函数，负责逐页处理
function processNextPage() {
    var line = file_h.readLine();
    if (!line) {
        // 没有更多URL需要处理，收尾退出
        file_h.close();
        phantom.exit(0);
        return;
    }

    console.log('正在处理URL: ' + line);
    var page = require('webpage').create();
    phantom.cookiesEnabled = true;
    // 把当前行赋值给局部变量，避免回调执行时变量被覆盖
    var currentAddress = line;

    page.open(currentAddress, function (status) {
        console.log(currentAddress + ' 的请求状态: ' + status);
        if(status === 'success'){
            _output.cookies = phantom.cookies; 
            _output.cookies.forEach(function(cookie){
                console.log(currentAddress + ' 的Cookie: ' + JSON.stringify(cookie));
            });
            // 当前页处理完成，继续处理下一页
            processNextPage();
        }else{
            console.log('无法打开URL: '+currentAddress);
            // 这里可以选择直接退出，或者继续处理下一页
            // 如果要退出的话：phantom.exit(-2);
            processNextPage();
        }
    });

    // 捕获页面内的错误，避免干扰输出
    page.onError = function (msg, trace) {
        console.log(currentAddress + ' 页面内错误: ' + msg);
    };
}

// 启动处理流程
processNextPage();

关键改动说明： #

• 递归代替循环：processNextPage()会在当前页的异步回调完成后，才去读取下一行并处理，彻底避免了同步循环覆盖变量的问题。
• 局部变量保存上下文：把当前URL赋值给currentAddress这个局部变量，确保回调函数里访问的是当前页的URL，而不是最后一次循环的URL。
• 正确的收尾时机：关闭文件和退出PhantomJS的逻辑放在了递归的终止条件里（没有更多行时），不会提前关闭文件导致读取失败。
• 错误处理更灵活：页面打开失败时，你可以选择继续处理下一页，或者直接退出，根据自己的需求调整。

如果你的需求是并行处理多个页面（注意PhantomJS的资源限制，别开太多页面），可以用计数器跟踪所有异步任务的完成情况，但串行处理的方式更简单，也不容易出现内存泄漏或资源耗尽的问题，适合大多数爬取场景。

内容的提问来源于stack exchange，提问作者gadgetgem