导入自定义模块后Scrapy执行crawl命令提示找不到Spider模块

目录结构 #

prjects
   |------spidername
   |           |---------spidername
   |                          |-----------spiders
   |                          |               |-----------spider1.py
   |                          |               |-----------spider2.py
   |                          |------------setting.py
   |                          |------------__init__.py
   |                          |------------myspiderentry.py
public
   |-------mylogger.py
   |-------utilities.py

问题场景 #

原本在prjects/spidername/spidername/目录下执行python myspiderentry.py，通过代码里的os.system("scrapy crawl spidername -a links=mylink")能正常启动爬虫。但当添加sys.path导入public目录下的utilities和mylogger模块后，执行同样命令时出现报错：ModuleNotFoundError: No module named 'spidername'。

原因分析 #

• 修改sys.path时，可能误将当前项目的根目录（prjects/spidername/spidername/）从Python的模块搜索路径中移除，或者新添加的路径优先级覆盖了原有路径，导致Scrapy找不到项目模块。
• Scrapy执行scrapy crawl命令时，会从Python的模块搜索路径里查找包含settings.py、spiders目录的spidername模块，若该目录不在sys.path中，就会触发找不到模块的错误。
• 若使用sys.path.insert(0, "public路径")这类方式添加路径，会让Python优先搜索public目录，忽略当前项目所在的路径，进而导致Scrapy无法定位到项目模块。

解决方法 #

1. 避免直接修改sys.path，改用环境变量
   把public目录的绝对路径添加到系统的PYTHONPATH环境变量中，这样Python会自动识别该目录下的模块，无需在代码里修改sys.path。

2. 修改sys.path时保留当前项目路径
   如果必须在代码中添加sys.path，确保同时保留当前项目的路径，示例代码：

   import sys
   from pathlib import Path
   
   # 获取当前脚本所在目录（项目根目录）
   current_project_dir = Path(__file__).parent
   # 添加当前项目目录到sys.path
   sys.path.append(str(current_project_dir))
   # 添加public目录到sys.path
   public_dir = current_project_dir.parent.parent.parent / "public"
   sys.path.append(str(public_dir))
   
   # 后续导入public下的模块
   from mylogger import Logger
   from utilities import some_util
   

3. 在Scrapy命令中指定settings路径
   修改os.system里的命令，明确指定项目的settings模块，让Scrapy直接定位到配置文件：

   import sys
   from pathlib import Path
   
   current_project_dir = Path(__file__).parent
   # 拼接settings模块的完整路径
   settings_path = f"{current_project_dir.name}.settings"
   os.system(f"scrapy crawl spidername -a links=mylink --settings={settings_path}")
   

4. 改用Scrapy API启动爬虫
   放弃os.system调用命令行的方式，直接用Scrapy的Python API启动爬虫，能更好地控制模块路径：

   from scrapy.crawler import CrawlerProcess
   from scrapy.utils.project import get_project_settings
   import sys
   from pathlib import Path
   
   # 添加public目录到sys.path
   public_dir = Path(__file__).parent.parent.parent / "public"
   sys.path.append(str(public_dir))
   from mylogger import Logger
   from utilities import some_util
   
   # 获取项目配置
   settings = get_project_settings()
   # 启动指定爬虫
   process = CrawlerProcess(settings)
   process.crawl("spidername", links="mylink")
   process.start()
   

内容的提问来源于stack exchange，提问作者user2155362