如何在PuppeteerCrawler中等待指定的GraphQL AJAX请求

先搞懂page.on('response')没触发的核心原因 #

• 监听绑定太晚：如果在page.goto()之后才绑定监听，页面加载初期的请求已经发送完成，自然捕获不到。
• 加载策略限制：用waitUntil: 'load'会在DOM加载完成后就停止等待，很多异步GraphQL请求还未触发。
• 拦截器/跨域影响：如果爬虫开启了请求拦截但未放行，可能会跳过响应触发；Puppeteer默认会捕获跨域响应，但需确认拦截逻辑是否存在冲突。

正确绑定response监听的代码示例 #

在handlePageFunction里，必须在页面导航前就绑定监听，这是关键：

async function handlePageFunction(context) {
    const { page, request, enqueueLinks, pushData } = context;

    // 先绑定响应监听，再执行页面导航
    page.on('response', async (res) => {
        // 精准过滤GraphQL请求，根据实际URL调整规则
        const isGraphQL = res.url().includes('/graphql') && res.request().method() === 'POST';
        if (isGraphQL && res.ok()) {
            try {
                const graphqlData = await res.json();
                // 将数据存入Apify数据集
                await pushData({
                    sourceUrl: request.url,
                    graphqlResponse: graphqlData
                });
            } catch (e) {
                // 忽略非JSON格式的响应（比如报错请求）
                console.log(`跳过非JSON响应: ${res.url()}`);
            }
        }
    });

    // 使用networkidle2等待异步请求完成，比load更适配异步内容场景
    await page.goto(request.url, {
        waitUntil: 'networkidle2',
        timeout: 60000
    });

    // 执行listHandler逻辑，抓取目标链接加入请求队列
    await enqueueLinks({
        selector: 'a.your-target-link', // 替换为实际的链接选择器
        pseudoUrls: ['https://your-domain.com/items/[.*]'] // 替换为你的伪URL规则
    });
}

修复之前两个无效方案的问题 #

Solution 1（等待页面完全加载）循环报错的解决 #

• 将waitUntil: 'load'替换为networkidle2，避免DOM加载完成但异步请求未触发就停止等待。
• 给page.goto设置合理的超时时间（比如60秒），防止超时重试导致循环报错。
• 确保每个请求仅执行一次page.goto，不要在循环中重复调用。

Solution 2（等待指定GraphQL请求）无效的解决 #

• 不要用模糊匹配，精准指定GraphQL的URL、请求方法，同时校验请求是否成功：

// 先触发GraphQL请求的交互操作（比如点击加载按钮、滚动页面，根据页面逻辑调整）
await page.click('.load-more-btn');

// 等待目标GraphQL响应，替换为实际的接口地址
const targetRes = await page.waitForResponse(res => 
    res.url() === 'https://your-domain.com/api/graphql' && 
    res.request().method() === 'POST' &&
    res.ok()
);
const graphqlData = await targetRes.json();
await pushData(graphqlData);

• 注意：如果GraphQL请求是用户交互触发的，必须先执行对应的交互操作，再调用waitForResponse。

额外排查点 #

• 检查Apify爬虫配置：如果开启了useSessionPool，页面复用可能导致监听失效，可尝试关闭或在每个Session初始化时重新绑定监听。
• 查看浏览器日志：添加page.on('console', msg => console.log('Browser log:', msg.text()))，确认GraphQL请求是否真的发送、是否存在报错。
• 请求拦截冲突：如果之前使用了page.setRequestInterception(true)，一定要在拦截回调中调用request.continue()，否则请求被拦截后不会产生响应。

内容的提问来源于stack exchange，提问作者4unkur