Scrapy爬虫数据混乱问题咨询：多站点嵌套爬取数据错乱原因

嘿，我太懂你这种困惑了！你原本以为爬虫会老老实实按顺序处理每个站点x，等它的10个内部页都爬完再换下一个，但实际上Scrapy的异步非阻塞特性才是搞乱你数据的核心原因。

问题根源：你用了同步思维，却在异步框架里干活 #

Scrapy为了最大化爬取效率，会同时发起多个请求——你刚给站点x₁发完请求，还没等它的10个内部页爬完，x₂甚至x₃的请求可能已经在处理了。如果你把每个站点x的属性存在爬虫类的实例变量里（比如self.current_site），麻烦就来了：

比如x₂的解析先完成，把self.current_site改成了x₂的属性，而此时x₁的内部页请求还在排队处理，等它们执行时，拿到的已经是x₂的属性，自然就和x₁的内部页数据串在一起，导致混乱。

解决办法：给每个请求绑定专属数据 #

最靠谱的方式是用Scrapy Request的meta参数，把每个站点x的属性和它的内部页请求绑定在一起，这样每个内部页都能拿到自己对应的x的属性，不会串。举个简单的例子：

def parse_site(self, response):
    # 先获取当前站点x的属性，比如站点名称
    site_name = response.css('.site-header h1::text').get().strip()
    # 抓取该站点下的10个内部页面链接
    internal_links = response.css('.internal-page a::attr(href)').getall()[:10]
    
    for link in internal_links:
        # 把当前站点的属性放进meta，传递给内部页解析函数
        yield scrapy.Request(
            url=response.urljoin(link),
            callback=self.parse_internal_page,
            meta={"parent_site": site_name}
        )

def parse_internal_page(self, response):
    # 从meta里取出对应的父站点属性
    parent_site = response.meta["parent_site"]
    # 爬取内部页数据，和父站点属性一起输出
    yield {
        "parent_site": parent_site,
        "internal_title": response.css('title::text').get(),
        "internal_content": response.css('.content p::text').getall()
    }

额外提醒：别用全局变量存临时数据 #

绝对不要把每个站点的属性存在爬虫类的全局变量里（比如self.parent_site），因为异步环境下，多个请求会共享这个变量，很容易被后续请求覆盖，导致数据混乱。

如果你的业务真的需要严格按顺序处理（不推荐，会大幅降低爬取效率），可以通过自定义中间件限制并发数为1，但一般来说用meta传递数据是最优解。

内容的提问来源于stack exchange，提问作者Hartun