Android应用调用网页JavaScript并获取执行结果的技术问题

嘿，我完全懂你的困扰——Jsoup确实搞不定这类动态渲染的内容！它本质就是个静态HTML解析工具，只会下载页面的原始代码，根本不会像浏览器那样加载并执行JavaScript，所以那些靠JS生成的搜索结果自然拿不到。要搞定这个需求，你得用Android里能真正运行JS的组件，最常用的就是WebView了。

Jsoup的工作逻辑是：发送HTTP请求→拿到服务器返回的原始HTML→解析静态DOM。但像谷歌搜索这类页面，初始HTML里根本没有搜索结果，是页面加载完成后通过JS动态请求数据、渲染出结果的。Jsoup没有JS引擎，自然无法触发这些动态过程，只能拿到空的结果容器。

下面是具体的实现步骤和代码示例：

1. 基础配置 #

首先在AndroidManifest.xml里添加网络权限：

<uses-permission android:name="android.permission.INTERNET" />

然后在布局里添加WebView，或者在代码中动态创建：

<WebView
    android:id="@+id/webView"
    android:layout_width="match_parent"
    android:layout_height="match_parent" />

2. 初始化WebView并开启JS支持 #

在Activity/Fragment里配置WebView，开启JS和必要的设置：

WebView webView = findViewById(R.id.webView);
WebSettings webSettings = webView.getSettings();

// 开启JavaScript支持
webSettings.setJavaScriptEnabled(true);
// 开启DOM存储（部分网站依赖这个保存状态）
webSettings.setDomStorageEnabled(true);
// 允许加载混合内容（如果目标网站有http资源）
webSettings.setMixedContentMode(WebSettings.MIXED_CONTENT_ALWAYS_ALLOW);

// 设置WebViewClient，监听页面加载完成事件
webView.setWebViewClient(new WebViewClient() {
    @Override
    public void onPageFinished(WebView view, String url) {
        super.onPageFinished(view, url);
        // 页面加载完成后，执行JS获取动态内容
        fetchDynamicSearchResults(view);
    }
});

// 加载目标搜索页面
webView.loadUrl("https://www.google.com");

3. 执行JS并获取搜索结果 #

利用WebView的evaluateJavascript方法，执行自定义JS代码来抓取结果：

private void fetchDynamicSearchResults(WebView webView) {
    // 编写JS代码：获取所有搜索结果的文本内容（以谷歌搜索为例，结果容器class为"g"）
    String jsCode = "var results = document.querySelectorAll('.g'); " +
                    "var resultList = []; " +
                    "results.forEach(function(item) { " +
                    "   resultList.push(item.innerText); " +
                    "}); " +
                    "resultList.join('\\n');";

    // 执行JS并接收返回结果
    webView.evaluateJavascript(jsCode, new ValueCallback<String>() {
        @Override
        public void onReceiveValue(String value) {
            // 注意：返回的value是带双引号的字符串，需要先清理
            String cleanedResults = value.replace("\"", "");
            // 这里就可以处理拿到的搜索结果了，比如打印、显示在UI上
            Log.d("SearchResults", cleanedResults);
        }
    });
}

4. 模拟搜索操作（可选） #

如果需要先输入关键词再触发搜索，也可以用JS模拟用户操作：

private void simulateSearch(WebView webView) {
    // 输入搜索关键词+点击搜索按钮的JS代码（谷歌搜索的选择器示例）
    String searchJs = "document.querySelector('input[name=\"q\"]').value = 'Android WebView JS'; " +
                      "document.querySelector('input[name=\"btnK\"]').click();";
    // 执行模拟操作
    webView.evaluateJavascript(searchJs, null);
}

⚠️ 注意：不同网站的DOM结构可能会变更，比如谷歌的搜索框/按钮选择器可能调整，需要提前用浏览器开发者工具确认目标元素的选择器。

关键注意事项 #

• 资源消耗：WebView比Jsoup占用更多内存和性能，频繁抓取后记得调用webView.destroy()释放资源。
• 主线程回调：evaluateJavascript的回调在主线程执行，可以直接更新UI。
• 网站反爬：部分网站会检测非浏览器请求，可能需要给WebView设置User-Agent，模拟真实浏览器。
• 替代方案：如果不想用WebView，也可以考虑基于Chrome DevTools协议的工具，但WebView是Android端最直接的原生解决方案。

内容的提问来源于stack exchange，提问作者borune