Google索引及Lighthouse测试出现Blocked due to unauthorised request (401)错误求助

• 检查Vercel项目访问控制
  登录Vercel控制台进入对应项目的「Settings」：

  • 确认Password Protection未启用，避免全站或部分路由被密码拦截；
  • 检查IP Access Control列表，确保没有误添加限制Googlebot、Lighthouse的IP规则；
  • 若使用了Middleware/Edge Functions，排查middleware.ts等代码，看是否有逻辑错误地拦截了user-agent包含Googlebot、Lighthouse的请求。

• 模拟爬虫请求验证
  在本地终端用curl模拟Googlebot请求，确认服务器返回状态：

  curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://bicheng.me -I
  

  如果返回401，说明服务器端确实在拦截爬虫请求，需重点排查授权逻辑。

• Google Search Console深度排查
  使用「URL Inspection Tool」的「Test Live URL」功能，查看请求详细日志：

  • 核对请求的user-agent是否为Googlebot；
  • 查看返回401的具体触发条件，比如是否存在缺失的授权头、服务器配置异常等。

• Lighthouse测试调整
  在Chrome DevTools中运行Lighthouse时，切换到「Settings」标签，勾选Clear storage后重新测试，避免携带无效Cookie或缓存导致的401错误。

• Vercel部署与框架配置检查

  • 确认项目最近的部署状态正常，Vercel控制台无部署报错；
  • 若使用Next.js等框架，检查next.config.js中的headers配置，确保没有错误添加WWW-Authenticate等授权相关响应头。

内容的提问来源于stack exchange，提问作者Alfie