使用Playwright抓取Capterra评论时反复遇CAPTCHA的解决问询

1. 模拟真实用户交互行为 #

• 别直接用click()或press()完成验证，要模拟真实鼠标移动路径：用Playwright的mouse.move()分多段移到验证按钮，每移动50px左右就停顿100-300ms，还要加随机微小偏移
• 按住按钮时，模拟人手的轻微抖动（比如按住后小幅度移动鼠标位置），按住时长控制在1.5-3秒，和真实用户操作时长匹配

2. 优化会话上下文 #

• 不要每次都启动全新浏览器，复用已创建的浏览器上下文（browser.new_context()生成的实例），模拟用户持续浏览的会话——Capterra对新会话的验证阈值更低
• 先访问Capterra首页、产品列表页这类非评论页面，停留3-10秒随机时长，点击几个无关元素，再进入评论页，还原真实用户的浏览路径

3. 调整Playwright底层配置 #

• 除了stealth_sync，手动注入脚本清除自动化标识：

  context.add_init_script("Object.defineProperty(navigator, 'webdriver', { get: () => undefined });");
  

• 开启浏览器的accept_downloads和geolocation权限，设置和代理IP匹配的真实经纬度，让环境更贴近真实用户

4. 代理与环境深度匹配 #

• 确保住宅代理IP、locale、时区、地理位置完全对应，别出现IP在纽约但时区设为北京的矛盾情况
• 同一个代理至少保持3-5次页面请求后再更换，频繁切换IP会被判定为异常

5. 第三方验证码服务兜底 #

如果以上方法都无效，可以考虑使用支持行为验证码识别的第三方服务，这类服务能直接处理按住型CAPTCHA的交互流程，注意成本和合规性即可

内容的提问来源于stack exchange，提问作者Rustam