如何防范Puppeteer爬取网站内容？含连接已开浏览器的检测方案

连接已打开的Chrome浏览器确实能大幅降低被自动化检测的概率，但仍有多种手段可以区分访问者是人类还是机器，常见的检测方式如下：

• 行为模式分析
  人类的操作带有自然的随机性：鼠标移动会有不规则的轨迹、加速度变化，点击和滚动的间隔不是固定值；输入文本时可能出现拼写错误、删除重打的动作。而自动化脚本的操作往往是匀速、路径笔直、输入精准无停顿，这些差异很容易被监测。

• 浏览器环境与指纹检测

  • 即使去掉了--enable-automation参数，仍可通过底层API检测：比如检查window.chrome对象的内部属性差异，或者通过调试器相关的标志判断是否处于受控状态。
  • 浏览器指纹验证：Canvas绘制的像素细节、WebGL参数、系统字体列表的完整性，自动化环境的这些特征通常和真实用户的浏览器存在细微差别——比如缺少部分系统字体，Canvas渲染的哈希值不一致。

• 交互类验证

  • 传统验证码：图形验证码、滑动拼图、点选验证码等，依赖人类的视觉识别和手动操作，自动化脚本很难完美绕过。
  • 隐形交互检测：比如要求用户悬停元素一段时间、按特定顺序点击页面元素，或者检测鼠标悬停时是否触发了对应的CSS样式变化，未做专门处理的自动化脚本会直接暴露。

• 网络层特征识别

  • 请求头一致性：人类浏览器的请求头（比如User-Agent、Accept-Language）可能随浏览器版本更新或设置变化有细微调整，而自动化脚本的请求头通常固定不变。
  • 请求频率与间隔：人类访问页面的间隔是随机的，自动化工具往往以固定频率发送请求，容易被识别。
  • TCP连接特征：数据包大小、发送间隔等网络层面的特征，自动化环境和真实设备会存在差异。

• JS执行与DOM检测

  • JS执行速度波动：真实用户的浏览器JS执行速度会受系统负载影响出现波动，而自动化环境的执行速度通常更稳定甚至更快。
  • 隐藏元素追踪：部分网站会加入隐藏的DOM追踪元素，真实浏览器会正常渲染，而自动化脚本若未处理这些元素，会留下检测痕迹。

内容的提问来源于stack exchange，提问作者user1080425