HtmlUnit中element.click()无响应，点击下载按钮无效求助

问题 #

我正使用HtmlUnit爬取网站https://www.softpedia.com/get/Programming/Other-Programming-Files/Apidog.shtml，想要点击“Download now”按钮触发JS代码以打开新窗口。

相关代码如下：

WebClient webClient = new WebClient(BrowserVersion.EDGE);
webClient.waitForBackgroundJavaScript(20 * 1000);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
HtmlPage page = webClient.getPage(patchUrl);
HtmlElement element = page.getFirstByXPath(xpath);
page = element.click();
webClient.waitForBackgroundJavaScript(10 * 1000);
return page.asXml();

我已通过XPath表达式//*[@id="dlbtn1"]/a定位到目标元素，但调用element.click()后无任何反应。即使调用sleep或waitForBackgroundJavaScript()，HtmlElement的readyState_字段仍处于“loading”状态，未变为“completed”。

我尝试过修改代码、搜索相关解决方案、查阅官方文档，但均未解决问题。请问我遗漏了什么？

解决方案 #

• 调整WebClient初始化顺序：先调用waitForBackgroundJavaScript完全无效，此时还未加载任何页面。正确流程是先配置所有WebClient选项，再加载页面，最后等待JS执行。
• 捕获新打开的窗口：点击按钮会触发新窗口跳转，element.click()返回的是原页面，无法获取新窗口内容。需要注册窗口监听器捕获新页面：

  HtmlPage newPage = null;
  webClient.setWebWindowListener(new WebWindowListener() {
      @Override
      public void webWindowOpened(WebWindow window) {
          if (window.getEnclosedPage() instanceof HtmlPage) {
              newPage = (HtmlPage) window.getEnclosedPage();
          }
      }
  
      @Override
      public void webWindowClosed(WebWindow window) {}
  
      @Override
      public void webWindowContentChanged(WebWindow window) {}
  });
  // 执行点击后等待新页面加载
  element.click();
  webClient.waitForBackgroundJavaScript(15 * 1000);
  // 后续使用newPage处理内容
  

• 等待页面完全就绪：除了waitForBackgroundJavaScript，可以搭配page.waitForReady()强制等待页面状态完成，或者使用webClient.waitForBackgroundJavaScriptStartingBefore(10 * 1000)更精准地等待JS执行。
• 切换浏览器版本并完善配置：部分网站会针对不同浏览器做兼容处理，尝试切换到Chrome版本的BrowserVersion，同时启用CSS加载：

  WebClient webClient = new WebClient(BrowserVersion.CHROME);
  webClient.getOptions().setCssEnabled(true);
  

• 手动触发完整点击事件链：有些按钮的点击逻辑绑定了mousedown、mouseup等事件，单纯调用click()可能无法触发完整逻辑，尝试手动触发事件链：

  element.fireEvent("mousedown");
  element.fireEvent("mouseup");
  element.fireEvent("click");
  

内容的提问来源于stack exchange，提问作者Daniel Reuveni