Scrapy 2.7报错ModuleNotFoundError: No module named 'scrapy.squeue'求助

出现ModuleNotFoundError: No module named 'scrapy.squeue'的核心原因是配置的队列类路径错误，具体有两点：

• 模块名称拼写错误：Scrapy中负责队列实现的模块是scrapy.squeues（复数形式，末尾带s），你配置里写的scrapy.squeue是单数，Python自然找不到对应模块。
• 类的可用性变更：即使修正了模块名，还要注意：在较新的Scrapy版本中，PickleFifoDiskQueue和FifoMemoryQueue这两个类可能已经不再作为公开可用的接口，或者它们的存放路径已经发生了变更，官方现在更推荐通过调整调度器相关的核心配置来优化内存占用。

如果你的目标是降低爬虫内存占用，推荐使用官方支持的配置方案：

• 调整CONCURRENT_REQUESTS参数，限制同时活跃的请求数量
• 开启SCHEDULER_PERSIST让调度器持久化队列到磁盘，减少内存占用
• 合理设置DOWNLOAD_DELAY，避免短时间内生成大量请求对象占用内存

内容的提问来源于stack exchange，提问作者asfand hikmat