You need to enable JavaScript to run this app. Apify Web Scraper将爬取失败结果纳入数据集的实现方法
优惠活动
大模型
产品
解决方案
定价
更多

Apify Web Scraper将爬取失败结果纳入数据集的实现方法

Apify URL校验任务失败结果写入数据集解决方案

问题根源

Apify Web Scraper基于PuppeteerCrawler的默认执行逻辑规定:只有页面跳转(goto)阶段完全成功、拿到响应后,才会触发pageFunction执行。如果跳转阶段触发超时、DNS解析失败、网络错误等问题,请求会直接进入重试队列,重试次数耗尽后标记为永久失败,默认不会写入数据集。

操作步骤

1. 调整请求重试与超时配置

在Web Scraper Actor输入配置的「高级选项」中修改以下参数:

  • maxRequestRetries:设置为所需的重试次数(无需重试可直接设为0,减少无效等待)
  • navigationTimeoutSecs:可根据需求缩短跳转超时时间(比如设为10,避免无效URL长时间占用资源)

2. 配置最终失败请求的处理逻辑

Web Scraper Actor的高级配置中提供了handleFailedRequestFunction(最终失败请求处理函数)的自定义输入入口,在该入口填入如下代码,即可将最终失败的请求按要求写入数据集:

async ({ request, Dataset }) => {
    await Dataset.pushData({
        url: request.url,
        title: "",
        responseCode: "000"
    })
}

注意:该函数会在所有请求重试耗尽、标记为永久失败时自动触发,无需手动调用。如果上下文未自动注入Dataset,可在代码头部补充const { Dataset } = require('apify')即可。

3. 保留原有pageFunction逻辑

你当前编写的pageFunction已经覆盖跳转成功的URL处理逻辑,无需修改即可正常运行:

async function pageFunction(context) {
    context.log.info("Starting pageFunction");
    const { request, jQuery: $ } = context;
    const { url } = request;
    context.log.info("Trying " + url);
    let title = null;
    let responseCode = null;

    try {
        context.log.info("In try block for " + url);
        title = $('title').first().text().trim();
        responseCode = context.response.status;
    } catch (error) {
        context.log.info("EXCEPTION for " + url);
        title = "";
        responseCode = "000";
    } 

    return {
        url,
        title,
        responseCode
    };
}

验证效果

重新运行Actor后,数据集会包含所有输入URL的结果:

  • 有效URL:返回真实页面标题与实际HTTP状态码
  • 跳转失败/无效URL:返回空标题与硬编码的000状态码

内容的提问来源于stack exchange,提问作者DanHelfman

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 00:45:03