HtmlUnit Android点击按钮后无法获取后续元素问题求助

你的代码中点击LinkBtn_locations后第二个println未执行，核心原因是HtmlUnit 3.x版本对JS执行、页面加载的处理逻辑和旧版本存在差异，导致点击操作后页面未正确渲染或线程卡住。以下是针对性解决方法：

1. 启用JavaScript并配置等待逻辑 #

多数现代网站的按钮点击依赖JS渲染页面，你当前仅禁用了CSS但未配置JS相关选项，HtmlUnit 3.x默认的JS处理需要显式等待后台脚本执行完成。修改代码如下：

val webClient = WebClient(BrowserVersion.CHROME)
webClient.options.isCssEnabled = false
// 启用JavaScript
webClient.options.isJavaScriptEnabled = true
// 设置等待后台JS执行的超时时间（毫秒）
webClient.waitForBackgroundJavaScript(5000)

var page: HtmlPage = webClient.getPage("https://timetables.qmul.ac.uk/default.aspx")

val locationsBtn: HtmlAnchor = page.getHtmlElementById("LinkBtn_locations")
println(locationsBtn)

// 点击后等待JS执行
page = locationsBtn.click()
// 额外等待确保页面渲染完成
webClient.waitForBackgroundJavaScript(3000)

println(page.webResponse.contentAsString)

2. 检查点击操作的返回值与页面状态 #

HtmlUnit中click()方法可能返回null或非HtmlPage类型，添加类型判断和异常捕获可避免程序无响应：

try {
    val resultPage = locationsBtn.click()
    if (resultPage is HtmlPage) {
        page = resultPage
        webClient.waitForBackgroundJavaScript(3000)
        println(page.webResponse.contentAsString)
    } else {
        println("点击后返回非HtmlPage类型：${resultPage.javaClass.name}")
    }
} catch (e: Exception) {
    println("点击操作异常：${e.message}")
    e.printStackTrace()
}

3. 调整WebClient的高级配置 #

若上述方法无效，尝试配置更贴近真实浏览器的行为：

• 启用Cookie管理：webClient.cookieManager.isCookiesEnabled = true
• 设置连接超时：webClient.options.timeout = 10000
• 禁用弹窗拦截：webClient.options.isPopupBlockerEnabled = false

4. 验证页面元素的实际交互逻辑 #

手动访问目标网站，确认LinkBtn_locations的真实交互逻辑：

• 检查按钮是否通过JS跳转而非直接锚点跳转
• 确认点击后是否有AJAX请求加载内容，若有可直接抓取对应接口数据

内容的提问来源于stack exchange，提问作者Davido