关于PageSpeed Insights访问IP及测试站点防索引的技术问询

问题1：获取PageSpeed Insights的访问IP地址 #

Google并未公布PageSpeed Insights专属的固定IP地址，其检测请求来自Google自动化工具的动态IP池，IP会定期变化。你可以通过以下两种方式解决白名单配置问题：

• 临时放宽测试站点的IP访问限制，运行一次PageSpeed Insights检测，然后从服务器访问日志中抓取带有chrome-lighthouse User-Agent的请求对应的IP，将该IP临时加入白名单；
• 查询Google公开的爬虫IP范围（该范围会定期更新），将对应IP段批量加入白名单，覆盖所有可能的检测来源。

问题2：避免测试站点被Google索引 #

测试站点存在被Google索引的可能性，但可以通过以下几种方式彻底规避：

• 在站点根目录创建robots.txt文件，添加规则：

  User-agent: *
  Disallow: /
  

  禁止所有搜索引擎爬虫访问整个站点；
• 在所有页面的<head>标签中加入元标签：

  <meta name="robots" content="noindex, nofollow">
  

  明确告知Google不要索引该页面，也不要追踪页面内的链接；
• 为测试站点设置Basic Auth身份验证，Google爬虫无法绕过这类验证，自然无法抓取和索引内容；
• 确保测试站点仅在内部网络环境中访问，不暴露公网入口，同时不要在任何公网可访问的页面中链接到该测试站点，也不要将其URL提交到Google Search Console。

内容的提问来源于stack exchange，提问作者Masashi Abe