Google爬虫抓取WordPress站点大量不存在页面，求排查方法

问题概况 #

站点仅包含约200个页面及文章，但Search Console显示有325599条处于404状态的未索引页面。Google爬虫抓取的均为随机字符组成路径的无效页面，示例如下：

https://website.it/7113dtlsb0ba0d7nt9437213
https://website.it/215dtls972d85fdfs4c7bb11f
https://website.it/constant.php?27847qhnya9bcf0zyaa24fd

目前无法通过Google或全网搜索定位到这些链接的来源。

常见原因 #

这类随机路径的404请求，绝大多数是恶意爬虫或自动化扫描器发起的。这类工具会随机生成URL路径，尝试探测站点漏洞（如未授权访问、敏感文件暴露等），并非WordPress站点内部存在无效链接导致。

WordPress排查工具及方法 #

• WordPress站点健康工具
  启用后可检查站点链接状态、插件与主题兼容性，能快速发现内部是否存在无效链接或异常路由配置。
• Broken Link Checker插件
  可扫描站点内所有页面、文章、评论中的链接，标记无效的内部/外部链接，还支持设置自动检测频率。
• .htaccess文件检查
  查看是否存在异常重写规则，避免错误路由引发无效路径请求；也可添加规则拦截这类随机字符路径的请求，减少不必要的404。
• 服务器日志分析
  查看服务器访问日志中的请求UA（用户代理），若识别出明显的恶意爬虫UA，可通过防火墙插件拦截。

处理建议 #

1. 这类恶意扫描产生的404，Google会自动识别，不会对站点SEO造成严重影响，但大量请求可能占用服务器资源，需加以防范。
2. 配置自定义404页面，引导用户返回站点首页，优化用户体验。
3. 使用Wordfence、Sucuri等防火墙插件，拦截恶意爬虫的扫描请求。
4. 定期在Search Console中清理无效404条目，保持索引状态整洁。

内容的提问来源于stack exchange，提问作者Bart