Scrapy支持同名爬虫按文件路径运行的需求及问题反馈
Scrapy同名爬虫按路径运行的需求与问题
KeyError: 'Spider not found: MySpiderProject/spiders/hao_kan_user_video'
在多目录结构的Scrapy大型项目里,如果存在多个同名的爬虫类,直接用爬虫名启动时会遇到上述错误——Scrapy没法区分这些同名爬虫,无法定位到想要运行的那个。
现在Scrapy只能通过爬虫名称来启动,这种方式在项目规模变大、需要按目录组织同名爬虫时就很受限。希望官方能新增按文件路径指定运行爬虫的功能:只要爬虫文件的路径不同,哪怕类名一样,也能通过路径精准启动目标爬虫,提升复杂项目的爬虫管理灵活性。
内容的提问来源于stack exchange,提问作者pansy
相关产品推荐
相关产品推荐

