You need to enable JavaScript to run this app. Puppeteer运行querySelector点击逻辑与浏览器控制台行为不一致 触发反爬广告
优惠活动
大模型
产品
解决方案
定价
更多

Puppeteer运行querySelector点击逻辑与浏览器控制台行为不一致 触发反爬广告

Puppeteer爬取RetailMeNot优惠页行为异常问题排查

核心现象

  • 开发环境为Node.js,搭配无头Chromium、puppeteer-extra-plugin-stealth插件开发爬取脚本时,手动操作与自动化操作出现明显行为差异
  • 手动在浏览器控制台执行document.querySelectorAll("button[class*=OfferCta__]")[1].click(),可正常触发同页模态框打开,仅偶发弹出第三方站点新标签
  • 替换为Puppeteer等价逻辑执行时,对应代码片段为:
const buttons = await page.$$("button[class*=OfferCta__]");
await page.waitFor(2000);
await buttons[1].click();
await page.waitFor(6000);
await page.screenshot({ path: "screenshot.png" });

代码执行完成后,页面仅展示广告与大面积空白区域,URL无跳转,完全达不到预期效果。

排查过程

  • 关闭无头模式(headful=false)打开可见浏览器实例跟踪运行流程,发现Puppeteer并非完全无法正常交互:运行过程中可推进到正确结果的不同阶段,甚至存在按钮点击成功、模态框正常加载的情况,但很快就会被带广告的空白页面覆盖
  • 运行过程中观察到脚本每隔两分钟会出现类似页面重载重启的状态,多次执行偶发成功,初步推测站点反爬判定逻辑存在随机触发逻辑
  • 进一步定位异常来源后,锁定两个会触发反爬效果的同域静态chunk脚本,手动在开发者工具中拦截这两个脚本的请求后,广告干扰即刻消失,页面可正常交互。这类脚本的触发时机包括页面加载完成、检测到鼠标移动事件,一旦判定访问来自自动化工具,就会屏蔽页面正常内容,替换为广告占位区域
  • 排查期间曾考虑通过调整Puppeteer可配置项,模拟真人鼠标行为让站点无法探测到自动化操作,待定位到核心反爬脚本来源后,确认该调整方向并非问题根因。

最终解决方式

  • 编写请求拦截模块,直接屏蔽上述两个反爬判定脚本及关联的第三方广告脚本的加载,拦截完成后脚本运行全流程稳定,不再出现页面被广告覆盖的问题。

内容的提问来源于stack exchange,提问作者Qrow Saki

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.20 07:24:05