Scrapy执行爬虫前先触发登录爬虫并保持会话的调度问题咨询
Scrapy多独立爬虫会话继承解决方案
问题根因
你当前的实现中,每次调用runner.crawl()都会生成完全独立的爬虫实例,每个实例持有私有的Cookie会话、请求上下文,多个爬虫实例之间默认不会共享会话状态,因此登录态无法传递到后续的爬虫任务中。
可行调整方案
以下方案均满足三个爬虫为独立类的要求:
方案1:统一共享全局Cookie Jar
通过自定义全局Cookie存储对象,让所有爬虫复用同一个Cookie容器,实现会话共享:
- 首先在项目公共模块定义全局Cookie Jar:
# 公共模块如common.py from scrapy.http.cookies import CookieJar GLOBAL_COOKIE_JAR = CookieJar()
- 所有爬虫的请求都绑定该全局Cookie Jar,示例:
# 登录爬虫调整 class LogInSpider(scrapy.Spider): name = 'DomainLogin' allowed_domains = ['domain.io'] start_urls = ['https://www.domain.io/signin'] def parse(self, response): return FormRequest.from_response(response, formdata={ 'email':email, 'password':password, }, meta={'cookiejar': GLOBAL_COOKIE_JAR}, callback=self.after_login ) def after_login(self, response): # 验证登录状态即可,Cookie会自动存入全局容器 pass
# 选品爬虫调整 class SelectProduct(scrapy.Spider): name = 'select_product' allowed_domains = ['domain.io'] def start_requests(self): yield scrapy.Request( url='https://www.domain.io/product/list', meta={'cookiejar': GLOBAL_COOKIE_JAR} ) def parse(self, response): # 原有选品逻辑不变 pass
加购爬虫同理,所有请求都加上meta={'cookiejar': GLOBAL_COOKIE_JAR}即可。
方案2:链式传递会话容器
在调度流程中,在上一个爬虫执行完成后,提取其会话容器传递给下一个爬虫,无需修改公共配置:
- 调整调度逻辑,传递Cookie Jar:
@defer.inlineCallbacks def crawl(): # 执行登录爬虫,提取其Cookie容器 login_crawler = runner.create_crawler(LogInSpider) yield runner.crawl(login_crawler) cookie_middleware = login_crawler.engine.downloader.middleware.middlewares['cookies'] login_cookie_jar = cookie_middleware.jars[0] # 执行选品爬虫,传入登录态Cookie select_crawler = runner.create_crawler(SelectProduct) select_crawler.spider.login_cookie = login_cookie_jar yield runner.crawl(select_crawler) # 执行加购爬虫,传入登录态Cookie cart_crawler = runner.create_crawler(AddProductToCart) cart_crawler.spider.login_cookie = login_cookie_jar yield runner.crawl(cart_crawler) reactor.stop() configure_logging() runner = CrawlerRunner(settings = get_project_settings()) crawl() reactor.run()
- 选品、加购爬虫适配传入的Cookie:
class SelectProduct(scrapy.Spider): name = 'select_product' allowed_domains = ['domain.io'] def start_requests(self): yield scrapy.Request( url='https://www.domain.io/product/list', # 优先用传入的登录Cookie,没有则用默认容器 meta={'cookiejar': getattr(self, 'login_cookie', 0)} ) def parse(self, response): # 原有选品逻辑不变 pass
配置要求
- 确保Scrapy配置中
COOKIES_ENABLED = True,不要禁用Cookie中间件 - 三个爬虫的
allowed_domains保持一致,避免跨域Cookie被拦截 - 不要在爬虫逻辑中手动清理Cookie,避免会话失效
内容的提问来源于stack exchange,提问作者Shubham Dayma
相关产品推荐
相关产品推荐

