使用Cloudflare时Google Search Console报403禁止访问问题求助

核心原因：Cloudflare安全策略拦截Google爬虫 #

暂停Cloudflare后恢复正常，说明拦截来自Cloudflare的安全配置，而非robots.txt或源站设置。以下是具体修复步骤：

• 将Google爬虫IP加入Cloudflare白名单

  1. 登录Cloudflare控制台，进入目标站点 → 「安全」→ 「WAF」→ 「工具」→ 「IP访问规则」
  2. 添加允许规则：填入Google官方公布的爬虫IP段，规则动作设为「允许」，优先级调至最高
  3. 也可直接用Cloudflare的「Bot Management」功能，确认Googlebot被标记为「Verified Bots」并设置为允许通行

• 排查Cloudflare安全级别与防火墙规则

  1. 进入「安全」→ 「安全级别」，暂时调低至「本质无害」或「低」，测试是否解决问题后再逐步调整
  2. 查看「WAF」→ 「规则」，检查自定义/托管规则是否误拦截Google爬虫，找到触发403的规则，添加例外条件（匹配Googlebot的用户代理或IP）

• 调整缓存规则避免干扰爬虫访问

  1. 进入「缓存」→ 「缓存规则」，确保没有针对Googlebot设置拒绝或阻止访问的规则
  2. 可添加一条规则：当请求来自Googlebot时，设置为「绕过缓存」，直接访问源站

• 配置用户代理允许规则
  在Cloudflare的「WAF」→ 「工具」→ 「用户代理规则」中，添加允许规则，匹配Googlebot的用户代理字符串（如Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)），动作设为「允许」

• 检查旧版Page Rules（若仍在使用）
  确认没有Page Rules对Googlebot返回403，必要时修改或删除冲突规则

注：Disallow: /cdn-cgi/是Cloudflare针对内部路径的robots配置，和当前403问题无关，无需调整该规则。

内容的提问来源于stack exchange，提问作者Isabella