HtmlUnit网页加载类问题排查：无法加载SPA及认证站点

一、SPA（Vue/React/GWT）加载失败与CSS选择器失效问题 #

1. JavaScript引擎兼容性不足 #

使用BrowserVersion.BEST_SUPPORTED对应较旧的浏览器版本，无法支持Vue/React等现代框架依赖的ES6+语法（箭头函数、Promise、解构赋值等），导致框架代码执行失败，动态元素无法渲染，最终CSS选择器找不到目标元素。

修复：
创建WebClient时指定最新的Chrome版本：

WebClient webClient = new WebClient(BrowserVersion.CHROME_LATEST);

2. JavaScript等待逻辑错误 #

webClient.waitForBackgroundJavaScriptStartingBefore(JAVASCRIPT_WAIT_TIME)仅等待调用该方法之前启动的后台JS执行完成，但你在调用前执行了page.refresh()，刷新后新启动的JS不会被该方法等待，导致页面未完全渲染就开始检查CSS选择器。

修复：
替换为等待所有后台JS完成的方法：

webClient.waitForBackgroundJavaScript(JAVASCRIPT_WAIT_TIME);

3. 动态元素等待机制无效 #

waitForSelector中使用synchronized(page) + page.wait()的方式完全无效，HtmlUnit的HtmlPage对象不会在DOM更新时主动触发notify()，线程只会被动等待超时，期间不会重新检查最新DOM状态。

修复：
改用主动轮询+短时间等待的逻辑，确保每次查询最新DOM：

protected void waitForSelector(HtmlPage page) throws InterruptedException {
    if (cssSelector == null) return;
    int attempts = 0;
    while (attempts < maxAttempts) {
        page.getWebClient().waitForBackgroundJavaScript(1000);
        DomNodeList<DomNode> elements = page.querySelectorAll(cssSelector);
        if (elements.size() > 0) break;
        attempts++;
    }
    if (attempts == maxAttempts && whenMaxAttemptsFailed != null) {
        whenMaxAttemptsFailed.accept(cssSelector);
    }
}

二、认证访问处理的缺陷 #

1. HttpHeadersSpec仅处理Cookie，忽略其他关键请求头 #

applyHttpHeaders方法只设置了Cookie，但多数需要认证的网站依赖Authorization、User-Agent、Referer等请求头，缺少这些头会导致认证失败或被服务器拦截。

修复：
扩展方法添加通用请求头设置：

private static void applyHttpHeaders(WebClient webClient, String domain, HttpHeadersSpec httpHeadersSpec) {
    // 设置Cookie
    if(httpHeadersSpec.getCookies() != null) {
        httpHeadersSpec.getCookies().forEach(cookieSpec ->
                webClient.getCookieManager().addCookie(new Cookie(domain, cookieSpec.getKey(), cookieSpec.getValue())));
    }
    // 设置通用请求头
    if(httpHeadersSpec.getHeaders() != null) {
        httpHeadersSpec.getHeaders().forEach((key, value) -> webClient.addRequestHeader(key, value));
    }
}

同时在HttpHeadersSpec中添加存储通用请求头的字段。

2. LocalStorage设置时机与刷新逻辑错误 #

在getPage后设置LocalStorage再调用page.refresh()，会导致：

• 刷新后页面重新加载，之前设置的LocalStorage可能被清空；
• SPA在初始加载时就读取LocalStorage，刷新前的设置无法被框架读取。

修复：
去掉page.refresh()，设置LocalStorage后直接等待JS执行：

if (httpHeadersSpec != null && httpHeadersSpec.getLocal_storage() != null) {
    for (StorageItemSpec item : httpHeadersSpec.getLocal_storage()) {
        page.executeJavaScript(
                "localStorage.setItem('" + item.getKey() + "', '" + item.getValue() + "');");
    }
}
webClient.waitForBackgroundJavaScript(JAVASCRIPT_WAIT_TIME);

3. Cookie Domain处理可能不准确 #

自定义的LinkProcessor.getDomainName可能无法正确解析Cookie的Domain（比如子域名blog.example.com的Cookie Domain应为.example.com），导致Cookie无法被正确发送到服务器。

修复：
使用HtmlUnit内置的域名解析工具：

String domain = DomainParser.getDomain(targetUrl);
// 或者设置允许子域名的Cookie
webClient.getCookieManager().addCookie(new Cookie("." + domain, cookieSpec.getKey(), cookieSpec.getValue()));

三、代码本身的逻辑Bug #

1. MaxAttempts参数未生效 #

第四个构造函数中硬编码this.maxAttempts = MAX_ATTEMPTS，而非使用传入的参数，导致用户自定义的重试次数永远无效。

修复：

this.maxAttempts = maxAttempts;

2. WebClient池的线程安全处理冗余 #

LinkedBlockingQueue本身是线程安全的，take()和add()方法不需要额外synchronized包裹，当前同步块多余且可能引发死锁。

修复：
简化池操作：

protected WebClient getAvailableWebClient() throws InterruptedException {
    return webClients.take();
}

protected void releaseWebClient(WebClient webClient) {
    webClients.add(webClient);
}

3. 构造函数注释与实际代码不符 #

前三个构造函数注释写着“Default max attempts is 5”，但实际使用的是MAX_ATTEMPTS（值为3），注释与代码不一致。

修复：
修改注释为正确的默认值，或调整MAX_ATTEMPTS的值为5。

内容的提问来源于stack exchange，提问作者quarks