ScrapyCrawlerProcess运行输入重复、start_requests缺response参数求助
问题根因
重复触发两次用户输入
你把用户交互、关键词收集、URL拼接的代码全部写在了Amazon_spiders类的顶层定义块中。Python解释器执行类定义语句时,会顺次跑完类内所有非方法定义的代码;而单文件脚本结合CrawlerProcess运行时,这个类会被加载两次:
- 第一次是脚本作为主程序从上到下执行,碰到类定义语句时运行一遍类内代码,触发第一组输入提示
- 第二次是CrawlerProcess内置的爬虫扫描器为了识别可用的Spider类,会把当前脚本作为普通模块重新导入,再次运行类内的定义代码,触发第二组输入提示
start_requests方法抛出TypeError
Scrapy框架对start_requests方法有固定的签名约定:这个方法仅接收self一个参数,在爬虫启动的最早期运行,此时还没有发出任何网络请求,根本不存在可传入的response对象。你给这个方法加了response形参,框架调用时只传递了self参数,自然会报缺参数的类型错误。
另外你覆写的start_requests逻辑完全冗余:Scrapy默认就会自动遍历start_urls列表生成初始爬取请求,不需要手动循环拼接请求。
修复步骤
- 把所有和用户交互、URL拼接相关的逻辑全部移出类定义块,放在类定义之前的脚本顶层运行,保证这些逻辑只执行一次,不会因为模块重复加载触发多次输入。
- 修正
start_requests的方法签名,删掉多余的response形参;如果不需要自定义请求配置(比如加请求头、Cookie),甚至可以直接删掉这个覆写方法,用Scrapy默认的启动逻辑即可。
修复后的参考代码:
import time import scrapy from scrapy import Request # 交互逻辑全部放在类定义外部,仅执行一次 search_keywords = [] search_count = int(input('Enter the number of times to search \n')) for _ in range(search_count): current_word = input("Enter one sentence to be searched \n").strip() search_keywords.append(current_word) # 提前拼接所有搜索URL,合并冗余的字符串处理逻辑 start_urls = [ f'https://www.amazon.com/s?k={word.replace(" ", "+")}&ref=nb_sb_noss' for word in search_keywords ] class Amazon_spiders(scrapy.Spider): name = "amazon" start_time = time.time() parse_number = 0 start_urls = start_urls # 按框架要求的正确签名覆写start_requests def start_requests(self): for url in self.start_urls: print(f"Current page {url}") # 可在此处补充自定义请求头、请求元数据 yield Request(url=url, callback=self.parse_url) def parse_url(self, response): # 在此处编写商品列表页的解析逻辑 pass
内容的提问来源于stack exchange,提问作者Ahmed Ellaban
相关产品推荐
相关产品推荐

