如何从POST请求加载的Android WebView中提取HTML内容？

嘿，我明白你的困扰——你现在用HttpPost重新请求URL得到400错误，是因为没带上原POST请求需要的参数和请求头（比如表单数据、Cookie这些），服务器根本认不出这个请求。但其实完全没必要绕这个弯路，直接从已经加载完成的WebView里提取当前页面的HTML就可以了，这才是最直接靠谱的方案。

方案一：通过JavaScript接口获取HTML（兼容低版本） #

WebView支持通过注入JS的方式拿到页面源码，步骤很清晰：

1. 先开启WebView的JS支持，再添加一个JS接口让Java能接收返回的HTML：

webView.getSettings().setJavaScriptEnabled(true);
// 注册JS接口，名字叫HtmlExtractor，后面会用到
webView.addJavascriptInterface(new HtmlExtractor(), "HtmlExtractor");

2. 写一个简单的接口类，用来接收JS传回来的HTML：

class HtmlExtractor {
    // 必须加@JavascriptInterface注解，不然JS调用不了
    @JavascriptInterface
    public void onHtmlExtracted(String html) {
        // 这里就拿到完整的页面HTML了！接下来就可以解析隐藏标签里的JSON
        parseMapMarkers(html);
    }
}

3. 等WebView加载完页面后，注入JS代码获取HTML：

webView.setWebViewClient(new WebViewClient() {
    @Override
    public void onPageFinished(WebView view, String url) {
        super.onPageFinished(view, url);
        // 注入JS，把整个页面的HTML传给我们的Java接口
        view.loadUrl("javascript:window.HtmlExtractor.onHtmlExtracted(document.documentElement.outerHTML);");
    }
});

方案二：用evaluateJavascript（Android 4.4+更简洁） #

如果你的APP最低支持到Android 4.4（API 19），可以用evaluateJavascript，不用额外加JS接口，更清爽：

webView.setWebViewClient(new WebViewClient() {
    @Override
    public void onPageFinished(WebView view, String url) {
        super.onPageFinished(view, url);
        // 直接执行JS获取HTML，回调里拿到结果
        webView.evaluateJavascript("document.documentElement.outerHTML", new ValueCallback<String>() {
            @Override
            public void onReceiveValue(String html) {
                // 注意：这里的HTML是转义过的，需要先解码
                String decodedHtml = Html.fromHtml(html, Html.FROM_HTML_MODE_LEGACY).toString();
                parseMapMarkers(decodedHtml);
            }
        });
    }
});

解析隐藏标签里的JSON #

拿到HTML后，接下来就是提取你藏在隐藏标签里的地图标记JSON了，这里给你两种方法：

推荐用Jsoup解析（简洁不易出错） #

先在build.gradle里加Jsoup的依赖：

implementation 'org.jsoup:jsoup:1.17.2'

然后写解析逻辑：

private void parseMapMarkers(String html) {
    Document doc = Jsoup.parse(html);
    // 假设你的隐藏标签是id为map-markers的div
    Element markerElement = doc.getElementById("map-markers");
    if (markerElement != null) {
        String jsonStr = markerElement.text().trim();
        // 这里就拿到JSON字符串了，接下来用Gson或者JSONObject转成Java对象
        // 举个Gson的例子：
        List<MapMarker> markers = new Gson().fromJson(jsonStr, new TypeToken<List<MapMarker>>(){}.getType());
        // 之后就可以用Google Maps API把这些标记加到地图上啦
    }
}

用正则表达式（不想加依赖的话） #

如果不想引入Jsoup，用正则也能搞定：

private void parseMapMarkers(String html) {
    // 匹配你的隐藏标签，根据实际标签调整正则
    Pattern pattern = Pattern.compile("<div id=\"map-markers\" style=\"display:none\">(.*?)</div>");
    Matcher matcher = pattern.matcher(html);
    if (matcher.find()) {
        String jsonStr = matcher.group(1).trim();
        // 后续解析JSON的逻辑和上面一样
    }
}

再说说你原方法失败的原因 #

你之前用HttpPost重新请求那个URL，但原页面是通过POST请求带参数生成的，你新的请求里没有带上原POST的表单数据、Cookie、Referer这些必要信息，服务器觉得这是个无效请求，所以返回400错误。而直接从WebView提取就完全没这个问题，因为WebView已经加载完了完整的POST后的页面，所有内容都在里面了。

内容的提问来源于stack exchange，提问作者Elerir