HtmlUnit无法渲染Google Maps问题求助及代码示例

看起来你在使用HtmlUnit访问Google Maps时遇到了渲染异常的问题，我帮你梳理几个关键排查点和修复方案：

1. 浏览器版本过于陈旧 #

你当前使用的BrowserVersion.FIREFOX_52是2017年的老旧版本，现代Google Maps依赖的ES6+语法、新Web API等特性，在这个模拟版本中支持严重不足，这大概率是核心问题。

修复方案：
替换为HtmlUnit支持的较新版本浏览器，比如FIREFOX_115（长期支持版）或者CHROME_LATEST，确保对现代JavaScript特性的兼容性。

2. waitForBackgroundJavaScript调用时机错误 #

你在创建WebClient后立刻调用了这个方法，此时还未加载任何页面，这个调用完全无效。正确的时机是在获取目标页面（webClient.getPage(completeUrl)）之后，再调用它等待地图的异步JavaScript加载完成。

3. 禁用CSS可能破坏地图渲染 #

Google Maps的界面布局、图层定位依赖部分CSS规则，直接设置setCssEnabled(false)可能导致地图元素无法正确显示或定位，建议开启CSS支持。

4. 代码截断遗漏关键配置 #

你的代码片段到setThro...就结束了，可能遗漏了必要配置：

• 确保Cookie支持开启（默认已开启，但可显式设置webClient.getCookieManager().setCookiesEnabled(true)）
• 暂时关闭throwExceptionOnScriptError虽能忽略错误，但建议先开启它排查具体JS报错，再决定是否关闭
• 建议设置更长的全局超时时间，避免因加载超时导致渲染失败

修复后的示例代码 #

String completeUrl = "https://www.google.com.ph/maps/search/wallmart";
System.out.println(completeUrl);

// 使用较新的浏览器版本
final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_115);

// 配置必要选项
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(true); // 开启CSS支持
webClient.getOptions().setRedirectEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCookieManager().setCookiesEnabled(true);
webClient.getOptions().setTimeout(30000); // 设置全局超时为30秒

try {
    HtmlPage page = webClient.getPage(completeUrl);
    // 等待后台JavaScript加载完成，给足地图渲染时间
    webClient.waitForBackgroundJavaScript(30000);
    
    // 可输出页面XML验证渲染结果
    System.out.println(page.asXml());
} catch (IOException e) {
    e.printStackTrace();
} finally {
    webClient.close();
}

额外注意事项 #

Google Maps有反爬机制，频繁使用HtmlUnit访问可能会被限制（比如弹出人机验证、返回空白页面）。如果遇到这种情况：

• 可以在BrowserVersion中自定义更真实的用户代理
• 添加合理的请求间隔
• 若出现人机验证，HtmlUnit的处理能力有限，可能需要考虑其他工具

内容的提问来源于stack exchange，提问作者quarks