Scala 2.13.1结合JsoupBrowser用代理爬取带reCAPTCHA网站的问题

一、当前代码的核心问题 #

你的代码存在几个关键错误，导致无法正常运行：

1. URL编码方式错误：ZenRows要求目标URL使用URL百分比编码（Percent-Encoding），而非Base64编码。Base64编码会导致ZenRows无法正确解析目标地址。
2. 缺少反爬参数配置：要绕过reCAPTCHA，必须在ZenRows请求中启用JS渲染和验证码破解相关参数，否则只能拿到静态页面，无法通过验证。
3. 无错误处理机制：代码未捕获请求异常，无法定位是API调用失败、参数错误还是目标网站拦截。

修正后的Scala代码示例：

import org.jsoup.Jsoup
import java.net.URLEncoder
import java.nio.charset.StandardCharsets

object ZenRowsScraper {
  def main(args: Array[String]): Unit = {
    val targetUrl = "https://example.com"
    // 使用URL百分比编码处理目标地址
    val encodedUrl = URLEncoder.encode(targetUrl, StandardCharsets.UTF_8.name())
    val apiKey = "d4397c47c636b6666627*****"
    
    // 添加JS渲染、反爬和验证码破解参数
    val zenrowsUrl = s"https://api.zenrows.com/v1/scrape?key=$apiKey&url=$encodedUrl&js_render=true&antibot=true&captcha_solver=true"

    try {
      val doc = Jsoup.connect(zenrowsUrl).get()
      println(doc.html())
    } catch {
      case e: Exception => println(s"请求失败: ${e.getMessage}")
    }
  }
}

二、代理/反爬服务选择建议 #

1. ZenRows #

• 本质是一站式反爬API服务，而非纯代理，内置reCAPTCHA破解、JS渲染、IP轮换等功能，无需自行搭建代理池或处理复杂反爬逻辑。
• 免费版每月有500次请求额度，适合小体量测试；付费版按请求量计费，性价比高。
• 优势：开箱即用，仅需配置API参数即可处理reCAPTCHA，开发成本极低。

2. Geonode #

• 提供高住宅代理池，IP覆盖广、质量稳定，适合需要自定义爬取流程的场景。
• 缺点：需自行搭配JS渲染工具（如Selenium、Playwright）和验证码破解服务（如2Captcha），开发成本较高。
• 适合：大规模、定制化爬取需求，对IP地域、质量有明确要求的场景。

3. ProxyEmpire #

• 同样是住宅代理服务，IP池规模大，支持城市级定位，稳定性优于普通代理。
• 与Geonode类似，需自行处理JS渲染和验证码破解，适合有爬虫开发经验的用户。
• 适合：中大型爬取项目，需要稳定IP资源支撑的场景。

总结 #

• 若要快速解决reCAPTCHA爬取需求，优先选择ZenRows，修正参数后即可正常使用；
• 若需自定义爬取流程、精细控制IP细节，再考虑Geonode或ProxyEmpire，同时搭配JS渲染和验证码破解工具。

内容的提问来源于stack exchange，提问作者Zaryab Ali