Apify Web Scraper将爬取失败结果纳入数据集的实现方法
Apify URL校验任务失败结果写入数据集解决方案
问题根源
Apify Web Scraper基于PuppeteerCrawler的默认执行逻辑规定:只有页面跳转(goto)阶段完全成功、拿到响应后,才会触发pageFunction执行。如果跳转阶段触发超时、DNS解析失败、网络错误等问题,请求会直接进入重试队列,重试次数耗尽后标记为永久失败,默认不会写入数据集。
操作步骤
1. 调整请求重试与超时配置
在Web Scraper Actor输入配置的「高级选项」中修改以下参数:
maxRequestRetries:设置为所需的重试次数(无需重试可直接设为0,减少无效等待)navigationTimeoutSecs:可根据需求缩短跳转超时时间(比如设为10,避免无效URL长时间占用资源)
2. 配置最终失败请求的处理逻辑
Web Scraper Actor的高级配置中提供了handleFailedRequestFunction(最终失败请求处理函数)的自定义输入入口,在该入口填入如下代码,即可将最终失败的请求按要求写入数据集:
async ({ request, Dataset }) => { await Dataset.pushData({ url: request.url, title: "", responseCode: "000" }) }
注意:该函数会在所有请求重试耗尽、标记为永久失败时自动触发,无需手动调用。如果上下文未自动注入
Dataset,可在代码头部补充const { Dataset } = require('apify')即可。
3. 保留原有pageFunction逻辑
你当前编写的pageFunction已经覆盖跳转成功的URL处理逻辑,无需修改即可正常运行:
async function pageFunction(context) { context.log.info("Starting pageFunction"); const { request, jQuery: $ } = context; const { url } = request; context.log.info("Trying " + url); let title = null; let responseCode = null; try { context.log.info("In try block for " + url); title = $('title').first().text().trim(); responseCode = context.response.status; } catch (error) { context.log.info("EXCEPTION for " + url); title = ""; responseCode = "000"; } return { url, title, responseCode }; }
验证效果
重新运行Actor后,数据集会包含所有输入URL的结果:
- 有效URL:返回真实页面标题与实际HTTP状态码
- 跳转失败/无效URL:返回空标题与硬编码的
000状态码
内容的提问来源于stack exchange,提问作者DanHelfman
相关产品推荐
相关产品推荐

