Puppeteer运行querySelector点击逻辑与浏览器控制台行为不一致 触发反爬广告
Puppeteer爬取RetailMeNot优惠页行为异常问题排查
核心现象
- 开发环境为Node.js,搭配无头Chromium、puppeteer-extra-plugin-stealth插件开发爬取脚本时,手动操作与自动化操作出现明显行为差异
- 手动在浏览器控制台执行
document.querySelectorAll("button[class*=OfferCta__]")[1].click(),可正常触发同页模态框打开,仅偶发弹出第三方站点新标签 - 替换为Puppeteer等价逻辑执行时,对应代码片段为:
const buttons = await page.$$("button[class*=OfferCta__]"); await page.waitFor(2000); await buttons[1].click(); await page.waitFor(6000); await page.screenshot({ path: "screenshot.png" });
代码执行完成后,页面仅展示广告与大面积空白区域,URL无跳转,完全达不到预期效果。
排查过程
- 关闭无头模式(headful=false)打开可见浏览器实例跟踪运行流程,发现Puppeteer并非完全无法正常交互:运行过程中可推进到正确结果的不同阶段,甚至存在按钮点击成功、模态框正常加载的情况,但很快就会被带广告的空白页面覆盖
- 运行过程中观察到脚本每隔两分钟会出现类似页面重载重启的状态,多次执行偶发成功,初步推测站点反爬判定逻辑存在随机触发逻辑
- 进一步定位异常来源后,锁定两个会触发反爬效果的同域静态chunk脚本,手动在开发者工具中拦截这两个脚本的请求后,广告干扰即刻消失,页面可正常交互。这类脚本的触发时机包括页面加载完成、检测到鼠标移动事件,一旦判定访问来自自动化工具,就会屏蔽页面正常内容,替换为广告占位区域
- 排查期间曾考虑通过调整Puppeteer可配置项,模拟真人鼠标行为让站点无法探测到自动化操作,待定位到核心反爬脚本来源后,确认该调整方向并非问题根因。
最终解决方式
- 编写请求拦截模块,直接屏蔽上述两个反爬判定脚本及关联的第三方广告脚本的加载,拦截完成后脚本运行全流程稳定,不再出现页面被广告覆盖的问题。
内容的提问来源于stack exchange,提问作者Qrow Saki
相关产品推荐
相关产品推荐

