如何让CasperJS逐个解析URL数组中的链接？代码问题求助

嘿，我来帮你搞定这个批量提取链接的问题～你原本的单URL提取代码工作正常，但改成批量处理后只输出最后一页结果，咱们一步步来梳理问题和解决方法。

你的问题代码核心问题 #

先看看你写的批量处理代码，主要有两个关键错误：

1. 全局变量被覆盖：你用单个links变量存储结果，每次处理新URL时都会把之前的结果覆盖掉，最后自然只剩最后一页的链接。
2. casper.run()位置错误：casper.run()是启动整个Casper执行流程并终止程序的方法，你把它放在each循环内部，第一次循环执行到这里就会直接退出，后面的URL根本没机会处理（你看到最后一页结果，其实是Casper异步流程导致最后一次赋值覆盖了变量，但本质写法完全错误）。

修改后的正确代码 #

咱们调整逻辑，用数组收集所有页面的链接，并且把执行启动放在所有步骤之后：

var casper = require('casper').create();
// 用数组存储所有页面的链接，避免覆盖
var allLinks = [];

function getLinks() {
    var links = document.querySelectorAll('li.Item div.CoverImageContainer a');
    return Array.prototype.map.call(links, function (e) {
        return e.getAttribute('href')
    });
}

var urls = [
    'https://nypl.overdrive.com/search?sortBy=newlyadded&mediaType=ebook&subject=111&subject=14&page=1',
    'https://nypl.overdrive.com/search?sortBy=newlyadded&mediaType=ebook&subject=111&subject=14&page=2',
    'https://nypl.overdrive.com/search?sortBy=newlyadded&mediaType=ebook&subject=111&subject=14&page=3'
];

// 初始化空白页面作为流程起点
casper.start('about:blank');

// 遍历URL数组，逐个添加处理步骤
casper.each(urls, function(casper, url) {
    this.thenOpen(url, function() {
        // 提取当前页面链接，合并到总数组中
        var pageLinks = this.evaluate(getLinks);
        allLinks = allLinks.concat(pageLinks);
    });
});

// 所有URL处理完成后，统一输出结果并退出
casper.run(function () {
    this.echo(' - ' + allLinks.join('\n - ')).exit();
});

关键修改点说明 #

• 改用数组存储总结果：用allLinks数组替代单个变量，每次处理完页面就通过concat()把当前页面的链接合并进去，不会丢失之前的数据。
• casper.run()移到循环外部：确保所有URL的处理步骤都被添加到Casper的执行队列后，再启动整个流程，这样所有页面都会被依次处理。
• 临时变量存当前页结果：先把当前页面的链接存在pageLinks里再合并，避免直接操作全局数组时出现意外覆盖。

关于你的临时解决方案 #

你的临时方案通过命令行参数传入单个URL提取链接的写法是没问题的。如果想用这个方案批量处理，可以结合shell脚本循环调用，比如在bash中：

urls=("url1" "url2" "url3")
for url in "${urls[@]}"; do
    casperjs OD-links.js --url="$url"
done

不过这种方式每次都要启动新的Casper进程，效率不如单脚本批量处理高，还是更推荐上面的批量处理代码。

内容的提问来源于stack exchange，提问作者its_me