Laravel Spatie Sitemap仅生成1个URL问题求助

看起来你遇到的问题是Spatie Sitemap只抓取了主域名首页，没遍历其他页面，怀疑是服务器层面阻止了内部爬虫的请求对吧？我来一步步帮你排查和解决：

先确认是不是服务器在拦截爬虫请求 #

先别急着改配置，先验证你的猜测对不对：

• 在服务器上用curl模拟Spatie爬虫的请求，比如：

  curl -A "SpatieSitemapBot" https://example.com/your-other-page
  

  如果返回403、500这类错误，那基本实锤是服务器拦截了；如果能正常返回页面内容，那得往其他方向排查。
• 顺便检查一下服务器防火墙（比如UFW）的规则，看看有没有限制本地回环地址（127.0.0.1）的请求——毕竟Spatie的爬虫是从服务器内部发起的。

如果确实是服务器拦截，这么配置放行 #

1. Web服务器（Nginx/Apache）调整 #

如果你用的是Nginx：

打开站点配置文件（一般在/etc/nginx/sites-available/your-site.conf），确保没有针对特定User-Agent的拦截规则，还可以主动添加允许Spatie爬虫的规则：

location / {
    # 允许Spatie爬虫和Laravel内部请求的User-Agent
    if ($http_user_agent ~* "SpatieSitemapBot|Laravel") {
        allow all;
    }
    # 保留你原有的其他配置...
}

修改后重启Nginx生效：

sudo systemctl restart nginx

如果你用的是Apache：

在站点的.htaccess或者主配置文件里添加规则，放行Spatie爬虫：

SetEnvIf User-Agent "SpatieSitemapBot|Laravel" allow_bot
Order Deny,Allow
Deny from all
Allow from env=allow_bot

然后重启Apache：

sudo systemctl restart apache2

2. UFW防火墙配置 #

如果服务器启用了UFW，得确保允许本地回环地址的请求（爬虫是从127.0.0.1发起的）：

sudo ufw allow in from 127.0.0.1

用sudo ufw status验证一下，确认这条规则已经生效。

3. SELinux（如果开启的话） #

有些服务器会启用SELinux，它可能会阻止Web服务发起内部请求。可以先临时关闭测试：

sudo setenforce 0

然后重新运行你的Artisan命令生成Sitemap，如果正常了，就永久配置SELinux允许Web服务联网：

sudo setsebool -P httpd_can_network_connect 1

除了服务器拦截，还要排查这些点 #

因为你说没改Spatie的默认代码，那也得确认下这些细节：

• 你的Artisan命令是不是正确调用了自动抓取？比如应该是：

  \Spatie\Sitemap\SitemapGenerator::create('https://example.com')
      ->writeToFile(public_path('sitemap.xml'));
  

  别只手动添加了首页的URL哦。
• 检查网站的路由有没有认证拦截？比如某些页面需要登录才能访问，Spatie爬虫默认是匿名请求，自然抓不到这些页面。
• 看看robots.txt是不是写了Disallow: /？这会阻止爬虫抓取除首页外的所有页面。

内容的提问来源于stack exchange，提问作者Rony V