代码无问题时如何解决Lighthouse无法下载robots.txt的报错？

• Lighthouse 审计时的临时网络波动：Lighthouse 对单次请求的超时阈值设置较严格，线上环境偶发的网络抖动就会触发该报错，这是最常见的诱因
• 部署平台的速率限制/UA拦截：部分托管平台会对高频爬虫类请求做拦截，Lighthouse 的UA标识包含Chrome-Lighthouse，如果规则里误拦截了该UA就会偶发请求失败
• robots.txt 响应头配置不合理：如果返回的Content-Type不是text/plain，或者缓存规则设置异常，也可能导致Lighthouse识别失败
• next-sitemap 生成逻辑冲突：当Next.js项目存在和/robots.txt匹配的动态路由规则时，next-sitemap生成的静态文件优先级可能低于动态路由，偶发返回异常

• 优先替换为Next.js内置的robots.txt生成逻辑，避免第三方插件的兼容问题：
  如果你用的是App路由，直接在app/目录下新建robots.ts文件，示例代码如下：

  import type { MetadataRoute } from 'next'
  
  export default function robots(): MetadataRoute.Robots {
    return {
      rules: {
        userAgent: '*',
        allow: '/',
        disallow: '/private/',
      },
      sitemap: 'https://webnos.online/sitemap.xml',
    }
  }
  

  如果你用的是Pages路由，直接将生成好的robots.txt静态文件放到public/目录下即可，优先级最高不会被路由拦截。
• 检查robots.txt的响应配置：确保请求返回的Content-Type为text/plain，缓存规则Cache-Control设置为public, max-age=3600即可，避免过长缓存或者无缓存的异常配置
• 调整部署平台的访问规则：将UA包含Chrome-Lighthouse的请求加入白名单，取消对这类请求的速率限制
• 本地复现验证：在本地运行npx lighthouse http://localhost:3000执行审计，查看是否能复现报错，如果本地运行完全正常，基本可以判定是线上网络波动导致的偶发问题

如果Google Search Console等官方搜索引擎工具都能正常抓取你的robots.txt，且手动访问、普通fetch请求都返回正常，仅Lighthouse偶发该报错，可以忽略。但建议先完成上述基础排查，排除配置类问题，避免真的影响搜索引擎收录。

内容的提问来源于stack exchange，提问作者andrewnosov