Htmlunit遇Content Security Policy eval拦截，该续用还是换Selenium？

继续使用HtmlUnit的可能性 #

• HtmlUnit支持配置CSP相关规则，可以尝试以下两种方式解决拦截问题：
  • 直接禁用CSP检查：通过WebClient的配置关闭CSP验证，代码示例：

    WebClient webClient = new WebClient();
    webClient.getOptions().setContentSecurityPolicyEnabled(false);
    

  • 自定义修改CSP响应头：拦截网站返回的CSP头部，在script-src指令中添加unsafe-eval，允许eval执行。
• 注意：HtmlUnit的JS引擎对现代Angular项目的复杂JS逻辑兼容性有限，即使绕过CSP，仍可能出现Promise未捕获这类JS执行错误。如果只是单纯的CSP拦截问题，调整配置后大概率可以继续使用；但如果存在深层JS兼容性问题，HtmlUnit的适配成本会上升。

切换到Selenium的优势 #

• Selenium依托真实浏览器（Chrome、Firefox等），其JS引擎与网站运行环境完全一致，对Angular这类重度JS框架的渲染支持更稳定。
• 可以通过浏览器启动参数绕过CSP：
  • 以Chrome为例，添加启动参数--disable-content-security-policy直接关闭CSP；若涉及混合内容问题，可搭配--unsafely-treat-insecure-origin-as-secure参数。
• 缺点是Selenium资源占用更高、运行速度慢于HtmlUnit，但胜在长期稳定性强，后续网站更新JS逻辑或安全策略时，适配成本更低。

决策建议 #

• 若当前仅需解决CSP拦截问题，爬虫逻辑简单，优先尝试调整HtmlUnit的CSP配置，快速恢复爬虫运行。
• 若调整后仍存在JS执行异常，或网站后续有频繁更新的可能，建议切换到Selenium，以获得更好的兼容性和可维护性。

内容的提问来源于stack exchange，提问作者jonathan tan