如何在Laravel中创建Robots.txt文件并解决访问显示空白页问题

正确创建robots.txt的两种方式 #

方式1：静态文件创建（推荐） #

直接在项目的public目录下新建robots.txt文件，写入你需要的爬虫规则即可，示例规则如下：

User-agent: *
Disallow: /admin/
Disallow: /backend/
Allow: /
Sitemap: https://wallpaperaccess.in/sitemap.xml

Laravel默认将public作为Web服务根目录，放在该目录下的静态文件可以直接通过域名+文件名访问。

方式2：动态路由生成（适合多环境差异化配置） #

如果需要根据不同环境动态调整规则，可以在routes/web.php中添加对应路由：

Route::get('robots.txt', function () {
    $robotsContent = "User-agent: *\n";
    // 生产环境允许爬取，测试/开发环境禁止爬取
    if (app()->environment('production')) {
        $robotsContent .= "Allow: /\n";
        $robotsContent .= "Sitemap: https://wallpaperaccess.in/sitemap.xml\n";
    } else {
        $robotsContent .= "Disallow: /\n";
    }
    return response($robotsContent, 200)
        ->header('Content-Type', 'text/plain');
});

访问空白问题排查解决步骤 #

• 确认文件存放路径：检查robots.txt是否存放在项目根目录下的public文件夹，不要放在项目根目录、resources等其他目录，非public目录的静态文件无法直接对外访问。
• 检查Web服务器配置：确认Nginx/Apache的站点根目录配置正确指向项目的public文件夹，以Nginx为例，配置项应为root /你的项目路径/public;，根目录配置错误会无法找到静态文件。
• 验证伪静态规则：确认Nginx的伪静态规则符合Laravel要求，优先匹配存在的静态文件再转发到PHP，正确规则如下：

  location / {
      try_files $uri $uri/ /index.php?$query_string;
  }
  

  规则错误会把静态文件请求也转发给Laravel处理，导致返回空白。
• 排除拦截逻辑：检查是否有全局中间件、自定义路由拦截了robots.txt请求，比如权限校验、请求处理类中间件异常终止了请求，可以临时注释非必要全局中间件测试。
• 清除缓存：执行php artisan route:clear、php artisan cache:clear清除路由和应用缓存，避免旧缓存规则影响请求。
• 检查文件权限：确认public/robots.txt权限为644，文件所属用户和Web服务器运行用户（比如www-data）一致，权限不足会导致文件无法读取返回空白。

内容的提问来源于stack exchange，提问作者Gaurav Kumeriya