使用Jsoup爬取poocoin.app遇Cloudflare DDoS防护无法获取内容如何解决

你遇到的是Cloudflare的JavaScript质询防护（俗称5秒盾），这种防护机制会先返回一段加密JS脚本，客户端需要执行这段脚本计算出验证参数、连同生成的专用Cookie一起回传给Cloudflare，校验通过后才能拿到真实页面内容。Jsoup仅支持发送基础HTTP请求、解析静态HTML，没有JS执行能力，也无法自动完成验证流程，所以只能拿到防护提示页。

• 方案1：改用接口获取代币价格（最推荐） #

  爬取页面本身效率低、稳定性差，Poocoin的价格数据本质来源于BSC链上的DEX合约，你可以直接对接BSC的RPC节点读取LP池的价格数据，也可以调用第三方加密货币公开价格接口，完全不需要处理Cloudflare防护。

• 方案2：使用支持JS渲染的无头工具绕过防护 #

  放弃纯静态的Jsoup，改用支持完整浏览器特性的无头工具，自动完成Cloudflare验证流程：
  • Java生态可选用 Playwright 或 Selenium + Chrome/Edge无头模式，启动时配置正常的用户代理、开启Cookie存储，等待页面加载5秒左右即可拿到完整渲染后的页面内容
  • 也可以直接引入Java封装好的cloudflare-scraper库，它会自动处理Cloudflare的JS验证、Cookie留存，调用逻辑和Jsoup接近，改造成本极低
    参考代码：

  // cloudflare-scraper调用示例（需先引入对应依赖）
  CloudflareScraper scraper = CloudflareScraper.createDefault();
  String url = "https://poocoin.app/tokens/0x5232152c8207653aeda5baa0ff7fb1046c23c753";
  try {
      Document document = scraper.get(url);
      String pageContent = document.text();
      System.out.println(pageContent);
  } catch (IOException e) {
      e.printStackTrace();
  }
  

• 方案3：手动缓存验证Cookie（仅适合临时测试） #

  先在本地浏览器手动访问目标页面，完成Cloudflare验证后，从开发者工具的请求头里复制完整的User-Agent、Cookie字段，填充到Jsoup的请求配置中，短时间内可以正常请求，但是Cookie失效后需要重新手动替换。
  改造后的Jsoup请求示例：

  final Document document = Jsoup.connect(url)
      .userAgent("你本地浏览器的完整UA字符串")
      .header("Cookie", "你从浏览器复制的完整Cookie内容")
      .ignoreHttpErrors(true)
      .get();
  

• 频繁的爬取请求仍然可能触发Cloudflare的IP封禁，建议合理控制请求频率
• 商用场景优先选择合规的公开数据接口，避免爬虫带来的合规风险

内容的提问来源于stack exchange，提问作者mobertooo