如何区分Google托管IP的合法流量与恶意垃圾流量？

我的网站正面临来自Google托管IP的潜在垃圾流量问题，以下是两个可疑流量示例：

示例1：
IP: 34.77.98.119 | User Agent: newspaper/0.2.8
Hostname: 119.98.77.34.bc.googleusercontent.com

示例2：
IP: 34.170.179.100 | User Agent: go-http-client/2.0
Hostname: 100.179.170.34.bc.googleusercontent.com

这些流量的主机名IP反转，UA晦涩且未出现在Google官方爬虫文档中；同时像Google Pagespeed Insights这类合法服务的流量（IP 66.249.82.64，UA含Chrome-Lighthouse，主机名google-proxy-xxx.google.com）也不在官方列表里。需要找到可靠方法，区分Google爬虫/官方服务流量与GCE虚拟机等可租用服务器发起的恶意流量。

核心验证方法 #

• 优先做IP反向+正向DNS验证
  这是Google官方推荐的最可靠验证方式：

  1. 对来访IP做反向DNS（PTR）查询，获取主机名
  2. 对获取到的主机名做正向DNS（A/AAAA）查询，验证是否返回原来访IP
     合法Google服务的PTR通常指向google.com、googleusercontent.com等域名，但关键是正向解析必须匹配原IP。注意：GCE虚拟机的PTR也会指向googleusercontent.com，所以这一步只是基础验证，不能单独作为判断依据。

• 结合User-Agent与请求行为分析

  • 合法Google爬虫/服务的UA会带有明确标识：比如Googlebot、AdsBot-Google、Google-Extended，或者像Pagespeed的Chrome-Lighthouse这类工具标识。即使UA不在官方文档里，这类流量通常是单次、低频率的，请求路径对应工具功能（比如Pagespeed会抓取页面资源做性能分析）。
  • 对于UA模糊的流量（如示例中的newspaper/0.2.8、go-http-client/2.0），即使IP在Google托管段，也要进一步排查：
    • 检查请求频率：恶意流量往往高频批量访问
    • 检查请求路径：是否集中在敏感页面、重复抓取无意义内容
    • 检查请求头：是否缺少标准爬虫的头部字段（如Accept-Language、If-Modified-Since）

• 区分GCE虚拟机与官方服务流量
  GCE虚拟机的PTR记录通常格式为[反向IP].bc.googleusercontent.com（即示例中的格式），而官方爬虫/服务的PTR多指向googlebot.com、google.com或特定服务域名。对于这类GCE来源的流量，只要UA不匹配已知合法服务标识，就可以按恶意流量处理（限流或拦截）——因为GCE是可租用的，任何人都能用来发起垃圾请求。

• 参考Google官方IP范围
  Google会发布官方IP范围，先确认来访IP是否属于Google的IP段，但这只是前置过滤，不能替代DNS验证和UA分析。

内容的提问来源于stack exchange，提问作者Aryaman Agrawal