HTMLUnit未等待JavaScript加载，无法获取JS生成的Div内容求助

我之前也踩过HTMLUnit这种死活不执行JS、只返回初始页面的坑，给你几个调整方向，应该能解决你的问题：

1. 调整Ajax控制器的设置时机 #

你的代码里把NicelyResynchronizingAjaxController放在了getPage之后，这时候请求已经发出去了，控制器根本没生效！应该在请求页面之前就设置好，这样HTMLUnit才会同步处理Ajax请求：

webClient = new WebClient(BrowserVersion.CHROME);
// 先设置Ajax控制器！
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setJavaScriptEnabled(true);
// 然后再去请求页面
WebRequest request = new WebRequest(new URL("myUrl"));
page = webClient.getPage(request);

2. 不要用初始响应内容，拿渲染后的DOM #

你最后用page.getWebResponse().getContentAsString()获取的是服务器返回的初始HTML，不是JS执行后的页面内容！要改用这两个方法：

// 获取渲染后的HTML字符串
String content = page.asHtml();
// 或者获取XML格式的DOM内容
String content = page.asXml();

3. 优化等待JS执行的逻辑 #

你的循环等待逻辑有点生硬，而且wait和waitForBackgroundJavaScript的组合可能不够可靠。可以试试简化成：

// 给JS足够的执行时间，比如30秒
webClient.waitForBackgroundJavaScript(30000);
// 或者等待所有JS执行完成
webClient.waitForJavaScriptExecutions();
// 之后再去获取div
List<DomElement> divs = page.getElementsByTagName("div");

如果还是需要循环判断，可以调整循环逻辑，避免不必要的synchronized：

int maxAttempts = 15; // 最多等30秒（15*2秒）
int attempts = 0;
List<DomElement> divs = page.getElementsByTagName("div");
while(divs.size() <= 46 && attempts < maxAttempts){
    webClient.waitForBackgroundJavaScript(2000);
    divs = page.getElementsByTagName("div");
    attempts++;
}

4. 额外的优化配置 #

加上这些配置可以减少HTMLUnit的执行干扰，提升JS执行成功率：

// 禁用CSS加载，避免CSS解析阻塞JS
webClient.getOptions().setCssEnabled(false);
// 忽略页面加载状态码错误
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
// 允许重定向
webClient.getOptions().setRedirectEnabled(true);
// 设置更贴近真实浏览器的User-Agent（可选，有些网站会校验）
webClient.getBrowserVersion().setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");

修改后的完整代码示例 #

WebClient webClient = null;
HtmlPage page = null;
try {
    webClient = new WebClient(BrowserVersion.CHROME);
    // 核心配置提前设置
    webClient.setAjaxController(new NicelyResynchronizingAjaxController());
    webClient.getOptions().setJavaScriptEnabled(true);
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    webClient.getOptions().setCssEnabled(false);
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    webClient.getOptions().setRedirectEnabled(true);
    
    WebRequest request = new WebRequest(new URL("myUrl"));
    page = webClient.getPage(request);
    
    // 等待JS执行完成
    webClient.waitForBackgroundJavaScript(30000);
    
    // 获取动态生成的div
    List<DomElement> divs = page.getElementsByTagName("div");
    // 这里可以添加你的div处理逻辑
    
    // 获取渲染后的页面内容
    String content = page.asHtml();
} catch (Exception e) {
    e.printStackTrace();
} finally {
    // 别忘了关闭webClient，释放资源
    if (webClient != null) {
        webClient.close();
    }
}

如果还是不行，你可以开启HTMLUnit的调试日志，看看JS有没有执行、有没有报错，这样能更快定位问题。比如添加日志配置：

java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(java.util.logging.Level.FINE);
java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit.javascript").setLevel(java.util.logging.Level.FINE);

内容的提问来源于stack exchange，提问作者Vithor Escames