添加HTTP安全头后Ahrefs站点审计抓取Beaver Builder JS报404问题咨询

Header配置排除判定 #

你配置的以下HTTP安全响应头不会触发404错误：

X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Referrer-Policy: origin-when-cross-origin
Feature-Policy: geolocation 'self'
X-Frame-Options: SAMEORIGIN
Content-Security-Policy: upgrade-insecure-requests

上述所有响应头仅作用于客户端接收响应后的行为控制，不会影响服务器端的状态码返回逻辑，完全可以排除Header配置导致问题的可能。

404问题根因 #

Beaver Builder作为WordPress可视化建站工具，部分JS资源路径是页面在客户端执行JS后动态注入到DOM中的，不会出现在服务端返回的原始HTML源码里。
Ahrefs站点审计默认抓取模式不会执行页面JS，只能从原始静态HTML中提取资源链接，此时提取到的Beaver Builder相关JS路径不完整甚至无效，用该路径发起请求自然会触发404。普通用户访问页面时浏览器会自动执行JS，动态生成正确的资源路径后加载，因此不会出现资源加载异常。

解决方案 #

你已验证的操作是标准解决方案：在Ahrefs爬取设置中开启*Execute Javascript（执行JavaScript）*选项即可。开启后Ahrefs爬虫会模拟完整的浏览器渲染流程，等待JS执行完成、所有动态资源路径生成后再抓取资源，不会再出现无效请求导致的404报错。

内容的提问来源于stack exchange，提问作者Steve