如何阻止网络爬虫与Bot调用统计脚本并干扰行为数据？

核心问题解答 #

爬虫和Bot确实有可能调用你的追踪脚本或触发点击事件发送错误数据，具体分两种情况：

• 现代Headless爬虫（如基于Puppeteer、Playwright的Bot）：这类工具能完整渲染网页JS，会加载你的追踪脚本，还能模拟用户点击事件触发关联的脚本函数，若它们的行为不符合正常用户逻辑，就会产生无效的错误数据。
• 静态爬虫：这类工具通常不执行JS，但会请求页面内的静态资源（包括你通过script标签引入的追踪脚本），不过一般不会触发点击事件。

实现需求的解决方案 #

1. 动态加载脚本，阻止Bot加载 #

通过检测请求的客户端特征，仅向真实用户加载追踪脚本：

<script>
  // 组合UA检测与浏览器环境验证
  const userAgent = navigator.userAgent.toLowerCase();
  const isPossibleBot = /bot|crawl|spider|headless|chrome-lighthouse/i.test(userAgent) 
    || (navigator.webdriver && !window.chrome);
  
  if (!isPossibleBot) {
    // 仅向非Bot客户端加载追踪脚本
    const trackingScript = document.createElement('script');
    trackingScript.src = 'your-tracking-script.js';
    document.body.appendChild(trackingScript);
  }
</script>

2. 给点击事件添加可信验证 #

利用浏览器原生的isTrusted属性判断事件是否由真实用户触发（脚本模拟的事件该属性通常为false，注意部分高级Bot可伪造此值，需结合其他校验）：

document.addEventListener('click', (event) => {
  if (event.isTrusted) {
    // 仅真实用户触发的点击才调用追踪函数
    yourTrackingFunction(event.target);
  }
});

3. 追踪脚本内添加行为过滤 #

在追踪脚本中加入简单的行为分析逻辑，过滤异常操作：

• 记录用户点击的时间间隔，拒绝短时间内高频点击的请求
• 校验点击位置是否在页面可交互元素的合理范围内
• 对异常行为直接丢弃数据，或标记为Bot数据后再上报

内容的提问来源于stack exchange，提问作者Sidhant Negi