Node.js中Puppeteer触发监听器前获取正确重定向的方法

我正在学习用Node.js的Puppeteer库做爬虫，遇到了重定向相关问题。目标爬取URL https://www.facebook.com/ladbible，但Facebook会把它重定向到正确的地址 https://www.facebook.com/LADbible。通过浏览器开发者工具的网络面板能看到，初始请求返回302状态码后自动完成重定向。以下是我的代码实现：

const puppeteer = require("puppeteer");

const testRun = async () => {
    const browser = await puppeteer.launch({ headless: false, executablePath: '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome' });
    const page = await browser.newPage();

    const link = 'https://www.facebook.com/ladbible/'
 
    page.on("requestfinished", async (request) => {
        const response = request.response();

        if (response.url().includes(link) && response.status() == 200) {
            console.log(response.url());
        }
    });
 
    await page.goto(link, { waitUntil: "networkidle2", timeout: 0 });
};

testRun();

我希望设置监听器进行爬虫操作，请问是否可以先获取最终重定向地址，再触发监听器来获取响应？

当然可以实现这个需求，下面提供两种实用的处理方案：

方法一：通过page.goto返回值直接获取最终URL #

page.goto执行完成后会返回最终响应对象，直接调用其url()方法就能拿到重定向后的地址，之后再针对该地址设置监听器或执行爬虫逻辑：

const puppeteer = require("puppeteer");

const testRun = async () => {
    const browser = await puppeteer.launch({ headless: false, executablePath: '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome' });
    const page = await browser.newPage();

    const link = 'https://www.facebook.com/ladbible/'
 
    // 先完成跳转，拿到最终重定向地址
    const response = await page.goto(link, { waitUntil: "networkidle2", timeout: 0 });
    const finalUrl = response.url();
    console.log("最终重定向地址:", finalUrl);

    // 针对最终地址设置请求完成监听器
    page.on("requestfinished", async (request) => {
        const resp = request.response();
        if (resp.url() === finalUrl && resp.status() === 200) {
            console.log("捕获到目标响应:", resp.url());
            // 这里添加你的爬虫操作，比如提取页面内容、元素等
        }
    });

    // 如果需要重新触发该地址的请求（比如刷新页面），可以执行这步
    // await page.goto(finalUrl, { waitUntil: "networkidle2", timeout: 0 });
};

testRun();

方法二：监听response事件追踪完整重定向链 #

如果需要完整记录重定向过程，可以通过监听response事件，逐个捕获重定向请求，直到拿到最终的200响应地址后再触发爬虫逻辑：

const puppeteer = require("puppeteer");

const testRun = async () => {
    const browser = await puppeteer.launch({ headless: false, executablePath: '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome' });
    const page = await browser.newPage();

    const link = 'https://www.facebook.com/ladbible/'
    let finalRedirectUrl = null;

    // 监听所有响应，追踪重定向流程
    page.on("response", async (response) => {
        // 捕获3xx重定向请求，记录重定向地址
        if (response.status() >= 300 && response.status() < 400) {
            console.log("重定向跳转至:", response.headers()['location']);
        }
        // 捕获最终200响应，触发爬虫逻辑
        else if (response.status() === 200 && response.url().includes(link.split('/')[3])) {
            finalRedirectUrl = response.url();
            console.log("最终目标地址:", finalRedirectUrl);
            await handleTargetPage(response);
        }
    });

    await page.goto(link, { waitUntil: "networkidle2", timeout: 0 });
};

// 处理最终响应的爬虫逻辑
async function handleTargetPage(response) {
    const page = response.request().frame().page();
    // 示例：获取页面标题
    const pageTitle = await page.title();
    console.log("页面标题:", pageTitle);
    // 可添加更多爬虫操作，如提取元素、保存内容等
}

testRun();

注意事项 #

• 方法一更简洁高效，适合只需要最终地址的场景；方法二能完整追踪重定向链路，适合需要分析跳转过程的需求。
• Facebook有严格的反爬机制，实际爬取时可能需要配置User-Agent、处理登录验证或使用代理，避免被限制访问。

内容的提问来源于stack exchange，提问作者ferdinand