Android Studio中使用HTMLUnit 3.3.0爬取网页遇WebClient无法识别问题

一、WebClient无法识别的解决方法 #

1. 正确配置依赖 #

在Module级别的build.gradle（或build.gradle.kts）中添加HTMLUnit依赖，同时排除与Android环境冲突的组件：

dependencies {
    // 引入HTMLUnit 3.3.0
    implementation 'org.htmlunit:htmlunit:3.3.0'
    // 排除冲突的日志依赖，Android自带日志实现
    implementation('org.htmlunit:htmlunit:3.3.0') {
        exclude group: 'commons-logging', module: 'commons-logging'
        exclude group: 'org.apache.commons', module: 'commons-logging'
    }
}

2. 配置Java版本支持 #

HTMLUnit 3.x要求Java 8及以上版本，在build.gradle中添加编译配置：

android {
    compileOptions {
        sourceCompatibility JavaVersion.VERSION_1_8
        targetCompatibility JavaVersion.VERSION_1_8
    }
    // 若使用Kotlin，补充以下配置
    kotlinOptions {
        jvmTarget = "1.8"
    }
}

3. 添加网络权限 #

在AndroidManifest.xml中声明网络访问权限，否则无法发起网页请求：

<uses-permission android:name="android.permission.INTERNET"/>

4. 修正代码细节 #

• 明确指定浏览器版本，提升兼容性；
• 必须在异步线程执行网络操作，Android禁止在UI线程进行网络请求。

修正后的代码示例（使用AsyncTask实现异步）：

private void scrapeWebsite() {
    new AsyncTask<Void, Void, String>() {
        @Override
        protected String doInBackground(Void... voids) {
            String targetUrl = "https://example.com";
            try (WebClient webClient = new WebClient(BrowserVersion.CHROME)) {
                webClient.getOptions().setJavaScriptEnabled(true);
                // 可选：禁用CSS渲染，提升移动端性能
                webClient.getOptions().setCssEnabled(false);
                HtmlPage page = webClient.getPage(targetUrl);
                return page.asText();
            } catch (IOException e) {
                e.printStackTrace();
                return "Error occurred while scraping";
            }
        }

        @Override
        protected void onPostExecute(String result) {
            scrapedDataTextView.setText(result);
        }
    }.execute();
}

二、HTMLUnit在Android中的适用性分析 #

HTMLUnit可以在Android上运行，但并非移动端网页爬取的最优选择，原因如下：

• 体积负担：HTMLUnit依赖大量Java类库，会大幅增加APK体积，对注重包大小的移动应用不友好；
• 性能瓶颈：它模拟完整浏览器环境执行JavaScript，在移动设备上会占用较多CPU和内存，导致运行缓慢、耗电增加；
• 兼容性风险：Android运行时与标准Java SE存在差异，部分HTMLUnit功能可能出现兼容性问题，比如某些JS API模拟不完全。

如果仅需处理简单的JavaScript渲染页面，更轻量的替代方案包括：

• 使用WebView加载页面，监听加载完成后通过evaluateJavascript获取渲染后的HTML，再用Jsoup解析；
• 结合OkHttp请求原始HTML，使用轻量JS引擎（如Rhino）执行必要代码后再解析。

只有当你需要模拟复杂浏览器行为（如表单提交、Cookie管理、会话保持），且可以接受性能和体积代价时，HTMLUnit才是合适的选择。

内容的提问来源于stack exchange，提问作者Humayun MHA