JSoup仅在特定网络下爬取网站过慢、缺失目标元素如何解决？

问题根因 #

你遇到的是目标站点的客户端JS算力反爬验证（类似Cloudflare五秒盾机制），你的固定宽带IP段被站点反爬系统标记为高风险，所以请求时会返回这个验证页面，而JSoup本身不支持执行JavaScript，自然无法拿到验证通过后才会加载的目标元素。切换移动网络正常是因为移动网的IP段风险等级更低，不会触发验证。
问题偶发是因为站点的反爬规则和IP风险评级是动态调整的，你的IP偶尔会被移出风险名单、你朋友的IP仅一次被判定为风险就符合这个特征。

修复方案 #

• 方案1：手动实现验证逻辑，直接生成验证Cookie #

  你可以先判断返回的Document是否包含leastFactor函数、duplexdataiadCookie设置等验证特征，如果命中就走以下逻辑：

  1. 提取页面JS里的p、s两个参数值
  2. 用Java实现页面里的leastFactor算法，传入参数p计算得到n
  3. 按照n*p/n:s:2100623372:1的规则拼接出duplexdataiad Cookie的值
  4. 给JSoup的下一次请求头加上这个Cookie，就能直接拿到正常页面内容
     这个方案性能开销最小，不需要额外引入依赖。

• 方案2：优化请求特征降低反爬触发概率 #

  给JSoup请求补全真实手机浏览器的完整请求头，包括User-Agent、Accept、Accept-Language、Referer等字段，同时控制请求频率，避免短时间内大量请求拉高IP风险等级，可大幅降低验证触发概率。

• 方案3：引入JS执行能力自动过验证 #

  如果你不想手动实现计算逻辑，可以选择两种方式：

  1. 用WebView加载这个验证页面，等待JS执行完成、页面自动刷新后，直接从WebView里提取渲染完成的页面内容
  2. 引入Rhino、J2V8等轻量JS执行库，直接运行页面里的验证JS代码，拿到生成的Cookie后再用JSoup请求

• 临时测试方案 #

  开发测试阶段如果遇到验证触发，可以直接切换代理IP，绕开当前被标记的宽带IP段即可。

内容的提问来源于stack exchange，提问作者snazzy