Android中如何用Jsoup解析含JS渲染的网页？解决Jsoup.connect()无JS结果问题

嘿，我来帮你搞定Android里网页解析的这两个问题，尤其是你提到的JS执行结果获取的核心痛点！

Jsoup处理静态HTML特别顺手，步骤很清晰：

1. 添加依赖与权限
   首先在Module级别的build.gradle（或者build.gradle.kts）里引入Jsoup依赖：

   implementation 'org.jsoup:jsoup:1.17.2'
   

   然后在AndroidManifest.xml里加上网络权限，还要注意Android 9+的明文网络限制：

   <uses-permission android:name="android.permission.INTERNET" />
   <!-- 如果目标网站是HTTP，需要加这个；HTTPS的话可以省略 -->
   <application
       ...
       android:usesCleartextTraffic="true">
       ...
   </application>
   

2. 编写解析代码（注意不能在主线程）
   Android不允许在主线程发起网络请求，所以得用协程、AsyncTask或者线程来处理。这里用Kotlin协程举个例子：

   lifecycleScope.launch(Dispatchers.IO) {
       try {
           val targetUrl = "https://example.com"
           // 发起请求，还可以设置User-Agent模拟浏览器
           val doc = Jsoup.connect(targetUrl)
               .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
               .get()
           
           // 解析内容：比如拿页面标题、特定class的文本
           val pageTitle = doc.title()
           val mainContent = doc.select(".main-content").text()
           
           // 切回主线程更新UI
           withContext(Dispatchers.Main) {
               yourTextView.text = "标题：$pageTitle\n内容：$mainContent"
           }
       } catch (e: IOException) {
           e.printStackTrace()
           withContext(Dispatchers.Main) {
               yourTextView.text = "解析失败：${e.localizedMessage}"
           }
       }
   }
   

先给你明确说清楚：Jsoup本身没有JavaScript引擎，它只能获取服务器返回的原始HTML代码，完全不会执行页面里的JS。所以你想通过「延迟连接操作」来等JS执行完，根本行不通——Jsoup的connect()只是发个HTTP请求拿响应，等多久都不会触发JS运行。

那要怎么拿到JS执行后的内容？给你两个实用方案：

方案1：用WebView加载页面后捕获渲染后的DOM #

这是Android上最靠谱的方案，因为WebView自带Chrome内核，能完整执行JS并渲染页面。示例代码：

// 初始化WebView（注意要在主线程）
val webView = WebView(this)
webView.settings.apply {
    javaScriptEnabled = true // 开启JS支持
    domStorageEnabled = true // 开启DOM存储，适配一些依赖本地存储的页面
}

webView.webViewClient = object : WebViewClient() {
    override fun onPageFinished(view: WebView?, url: String?) {
        super.onPageFinished(view, url)
        // 注入JS代码，获取整个页面的HTML
        view?.evaluateJavascript("document.documentElement.outerHTML") { rawHtml ->
            // 注意返回的字符串带前后双引号，要先清理
            val cleanedHtml = rawHtml.replace("\"", "")
            // 拿到渲染后的HTML，再用Jsoup解析
            val doc = Jsoup.parse(cleanedHtml)
            // 比如获取JS动态生成的内容
            val dynamicContent = doc.select(".dynamic-element").text()
            
            // 切回主线程更新UI
            runOnUiThread {
                yourTextView.text = "动态内容：$dynamicContent"
            }
            
            // 用完WebView记得销毁，避免内存泄漏
            webView.destroy()
        }
    }
}

// 加载目标页面
webView.loadUrl("https://example.com/your-dynamic-page")

注意事项：

• WebView要合理管理，不用时一定要destroy()，不然容易内存泄漏
• 如果页面需要登录或交互，WebView也能处理，灵活性很高

方案2：使用带JS引擎的第三方库 #

比如HtmlUnit，它是一个纯Java的模拟浏览器库，支持JS执行。不过在Android上可能会有兼容性和性能问题，适合简单场景：

// 添加依赖
// implementation 'net.sourceforge.htmlunit:htmlunit:2.70.0'
lifecycleScope.launch(Dispatchers.IO) {
    try {
        val webClient = WebClient(BrowserVersion.CHROME)
        webClient.options.apply {
            isJavaScriptEnabled = true
            isCssEnabled = false // 不需要CSS的话可以关闭，提升速度
        }
        // 设置等待JS执行的时间（毫秒）
        webClient.waitForBackgroundJavaScript(5000)
        
        val page = webClient.getPage<HtmlPage>("https://example.com/your-dynamic-page")
        val renderedHtml = page.asXml()
        val doc = Jsoup.parse(renderedHtml)
        
        val dynamicContent = doc.select(".dynamic-element").text()
        
        withContext(Dispatchers.Main) {
            yourTextView.text = "动态内容：$dynamicContent"
        }
        
        webClient.close()
    } catch (e: Exception) {
        e.printStackTrace()
    }
}

直接用Jsoup.connect()绝对拿不到JS执行后的内容，延迟连接完全没用——因为Jsoup不具备JS执行能力。必须先借助WebView或带JS引擎的库，拿到渲染完成的完整HTML，再用Jsoup进行解析。

内容的提问来源于stack exchange，提问作者borune