Google是否在探测admin.php？归属Google的IP触发404是否为恶意攻击？

先别慌，这种情况其实挺常见的，咱们一步步理清楚：

1. 先确认这个IP是不是真的Googlebot #

伪装成搜索引擎爬虫的攻击者确实存在，所以第一步得验证身份：

• 用反向DNS查询：执行命令 dig -x 35.205.21.104 或者 host 35.205.21.104，如果返回的域名是类似 crawl-35-205-21-104.googlebot.com 这类以.googlebot.com结尾的，那大概率是真的Googlebot。
• 再做正向验证：把返回的域名拿去解析，比如dig crawl-35-205-21-104.googlebot.com，看返回的IP是不是35.205.21.104，匹配的话就可以确定是官方爬虫。

2. Googlebot为什么会爬取你没提交过的URL？ #

Googlebot会主动探测网站上的常见路径，比如admin.php、wp-admin、login.php这类典型的管理入口——哪怕你没在 sitemap 里提交，也没在页面里链接过。这是它的常规行为：一方面是为了发现网站可能存在的未公开内容，另一方面也是搜索引擎爬虫的通用探测逻辑，并不是针对你的攻击。

3. 怎么区分是正常爬取还是攻击？ #

• 如果日志里只有这一条File does not exist的记录，没有后续的重复请求、也没有其他可疑行为（比如尝试访问/wp-config.php、提交恶意表单、路径遍历），那基本就是Googlebot的常规探测，完全不用在意。
• 如果这个IP在短时间内多次访问不同的可疑路径，或者有明显的漏洞扫描行为，那可能是攻击者伪装成Googlebot，这时候再考虑针对性限制，但绝对不要直接封禁整个Google IP段，否则会影响你的网站在Google搜索中的收录。

4. 可行的解决方案 #

• 如果不想再看到这类404日志，可以在robots.txt里添加规则，禁止Googlebot爬取这类管理路径：

  User-agent: Googlebot
  Disallow: /admin.php
  

• 持续监控日志，如果发现异常请求，再用.htaccess做针对性的IP限制，但一定要先确认IP身份，避免误封。

内容的提问来源于stack exchange，提问作者Mindy