Htmlunit因JS异常无法加载页面元素，禁用脚本异常无效如何解决？

我之前也碰到过一模一样的问题——Htmlunit默认的CoreJS引擎并没有内置现代浏览器的fetch API，所以当页面脚本调用fetch时，就会抛出这个“找不到全局fetch”的异常。至于你说的setThrowExceptionOnScriptError(false)没生效，大概率是因为这个异常是在脚本初始化的关键阶段触发的，单纯关闭异常抛出可能覆盖不到这个场景，解决根源问题才是关键。下面给你几个可行的方案：

方案一：手动注入fetch Polyfill（最可靠） #

我们可以给Htmlunit的JS环境手动添加fetch的实现，推荐用轻量的unfetch作为polyfill，步骤很简单：

1. 先准备unfetch的精简版代码（直接复制即可，无需额外依赖）：

String unfetchPolyfill = "(function(e,t){\"object\"==typeof exports&&\"undefined\"!=typeof module?module.exports=t():\"function\"==typeof define&&define.amd?define(t):(e=e||self).unfetch=t()})(this,function(){return function(e,t){return new Promise(function(n,o){var r=new XMLHttpRequest;r.open(t?t.method:\"GET\",e),r.onload=function(){n({ok:r.status>=200&&r.status<300,status:r.status,statusText:r.statusText,url:r.responseURL,text:function(){return Promise.resolve(r.responseText)},json:function(){return Promise.resolve(JSON.parse(r.responseText))},blob:function(){return Promise.resolve(new Blob([r.response]))}})},r.onerror=o,r.send(t?t.body:null)})}});\nwindow.fetch = unfetch;";

2. 在页面加载前把这个polyfill注入到全局作用域，这里推荐用WebClient的PreProcessor，确保脚本在页面任何JS执行前加载：

WebClient client = new WebClient(BrowserVersion.CHROME);

// 设置预处理器，注入fetch polyfill
client.setPreProcessor((page, settings) -> {
    if (page instanceof HtmlPage) {
        try {
            ((HtmlPage) page).executeJavaScript(unfetchPolyfill);
        } catch (Exception ex) {
            ex.printStackTrace();
        }
    }
});

// 同时保留你的错误兜底配置
client.getOptions().setThrowExceptionOnScriptError(false);
client.getOptions().setThrowExceptionOnFailingStatusCode(false);

这样页面脚本调用fetch时，就会使用我们注入的polyfill实现，自然不会再抛出找不到fetch的异常。

方案二：升级Htmlunit到最新版本 #

如果你用的是较旧的Htmlunit版本（比如2.60以下），可以试试升级到最新稳定版（目前是2.70+）。新版本对现代JS特性的支持完善很多，部分高版本浏览器模拟（如CHROME_110+）已经内置了fetch API的支持，可能不需要手动注入polyfill就能解决问题。

为什么setThrowExceptionOnScriptError(false)没生效？ #

这个方法主要是忽略脚本执行过程中的非致命错误，但如果异常是在页面核心脚本的初始化路径抛出（比如整个页面逻辑依赖fetch才能启动），Htmlunit可能还是会终止脚本执行，或者这个异常不在该方法的忽略范围内。注入polyfill从根源上提供了fetch的实现，自然就不会触发这个异常了。

内容的提问来源于stack exchange，提问作者jinpachi23