Google Bot异常爬取请求咨询：WordPress站点是否遭黑客入侵？

嘿，我来帮你捋清楚这个问题——你在Google Search Console（之前叫Webmaster Tools）里看到的异常爬取错误，到底是Google的正常行为，还是黑客盯上了你的WordPress站，得结合具体错误特征来判断，我给你拆解下：

先说说哪些是Google的“正常异常”请求 #

• Googlebot（谷歌爬虫）有时候会“探索”网站的各种路径，比如尝试抓取旧的死链（你之前删过的页面）、主题/插件自动生成的动态参数路径，或者一些不存在的文章ID（比如/?p=99999），这类情况导致的404错误其实是正常的，毕竟爬虫会尽可能覆盖所有可能的链接入口。
• 另外，Google的结构化数据测试、移动适配测试工具也会发起特殊请求，这些请求的User-Agent可能带特殊标识，但本质还是官方爬虫的合规行为。
• 还有一种情况：如果你的网站之前被外部网站链接过一些无效路径，Googlebot会顺着这些外部链接爬过来，也会产生爬取错误，这和黑客无关。

这些信号说明可能是黑客伪装的请求 #

如果你的错误列表里出现以下情况，大概率是黑客在伪装成Googlebot搞事情：

• 请求路径是明显的恶意文件，比如/shell.php、/wp-config.bak、/malicious-admin.php这种你网站从来没有过的文件；
• 请求参数带?cmd=、?eval=、?sql=这类明显用于执行命令、注入攻击的内容；
• User-Agent模仿Googlebot但有拼写错误，比如Goog1ebot（数字1代替字母l）、Googlebot/2.0 (compatible; bad bot)；
• 短时间内大量来自同一非Google官方IP的请求，或者请求频率远高于正常Googlebot的爬取节奏。

怎么验证是不是真的Googlebot？ #

• 查User-Agent：正宗Googlebot的UA是Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)，你可以在Search Console的爬取错误详情里核对UA是否一致；
• 验IP：把请求的IP地址拿出来，用服务器的host命令反查（比如host 192.168.1.1），如果结果指向googlebot.com或者google.com相关域名，就是真爬虫；
• 看服务器日志：登录你的主机后台，查看access.log，对比正常Googlebot的请求频率和来源，异常请求的IP通常会集中在某个非Google段，且请求内容很诡异。

对应的应对办法 #

• 如果是正常Googlebot请求：在Search Console里提交死链列表，让Google停止爬这些无效路径；也可以用robots.txt禁止抓取不必要的目录（比如Disallow: /wp-admin/，注意别误禁必要文件），减少爬取错误。
• 如果是黑客伪装的攻击：赶紧用.htaccess拦截伪造的UA和恶意IP；安装WordPress安全插件（比如Wordfence）实时监控攻击；立刻更新WordPress核心、主题、插件到最新版本，修复已知漏洞；必要时可以开启CDN的安全防护，过滤恶意请求。

内容的提问来源于stack exchange，提问作者Akivamu