使用Scrapy的SitemapSpider爬取站点地图XML获取URL失败如何解决

算力阿峰

2026-10-3

Scrapy SitemapSpider无爬取结果解决方案

1. 优先定位具体错误原因

运行爬虫时开启DEBUG级别日志，就能看到sitemap请求阶段的具体报错：

scrapy crawl x -L DEBUG

常见错误包括sitemap链接404、站点反爬返回403、网络超时等，根据报错对应处理即可。

2. 常见基础配置修正

配置合法请求头：在settings.py中修改USER_AGENT为普通浏览器UA，避免站点拦截Scrapy默认标识
确认sitemap_urls链接可在浏览器正常访问，不需要权限验证
检查allowed_domains配置是否正确，不要携带http/https前缀、多余路径

3. 修正爬虫代码写法

SitemapSpider内置了sitemap解析逻辑，不需要额外定义parse_sitemap_url方法，默认会自动提取所有<loc>标签的URL并交给parse方法处理，修正后参考代码：

import scrapy

class XSpider(scrapy.spiders.SitemapSpider):
    name = 'x'
    allowed_domains = ['xxx.xxx']
    sitemap_urls = ['https://www.xxx.xxx/sitemaps/sitemap_1.xml']
    # 可选配置：自定义URL匹配规则，以下规则代表所有URL都交给parse方法处理
    sitemap_rules = [('', 'parse')]

    def parse(self, response):
        # 输出爬取到的URL，也可根据需求提取页面内容
        print("爬取成功：", response.url)
        yield {'url': response.url}