Scrapy运行爬虫报Spider not found 确认spider文件存在仍无效

已知现象 #

• 执行爬虫启动命令scrapy crawl storagemart时，持续抛出spider not found错误
• 已在对应目录确认目标爬虫文件实际存在
• 尝试修改爬虫名称后问题仍未修复
• 运行环境为Scrapy 2.1.0 + Windows 10 + Python 3.6 Anaconda环境

报错核心日志 #

Traceback (most recent call last):
File "c:\users\prabh\anaconda3\envs\py3_knime\py3_knime\lib\site-packages\scrapy\spiderloader.py", line 68, in load
return self._spiders[spider_name]
KeyError: 'storagemart'
...
File "c:\users\prabh\anaconda3\envs\py3_knime\py3_knime\lib\site-packages\scrapy\spiderloader.py", line 70, in load
raise KeyError("Spider not found: {}".format(spider_name))
KeyError: 'Spider not found: storagemart'

可落地排查步骤 #

• 核对settings.py内的SPIDER_MODULES配置：确保配置值指向实际存放爬虫文件的Python模块路径，例如常见错误为路径拼写错误、遗漏爬虫所在的子包层级，导致Scrapy根本没有扫描到爬虫文件
• 校验爬虫类的name属性：确认爬虫类定义中name = "storagemart"的字符串和命令行传入的名称完全匹配，注意大小写、前后空格的匹配差异，不要出现换行、多余字符导致的不匹配
• 确认命令执行路径：必须在包含scrapy.cfg文件的项目根目录下执行scrapy命令，不要在爬虫所在的子目录、其他无关项目路径下执行启动指令
• 清除旧缓存：删除项目目录下所有__pycache__文件夹，避免修改爬虫配置后Python加载旧的字节码缓存
• 执行scrapy list命令：直接输出当前项目能正常识别的所有爬虫名称，如果目标爬虫不在列表内，即可直接定位到模块扫描、路径配置类的问题

内容的提问来源于stack exchange，提问作者joel sidhu