如何自动化Scrapy爬虫？cmdline.execute启动后循环失效问题求助

问题根源 #

你用cmdline.execute()启动爬虫后，后续代码（比如print("End of program")）不执行，是因为Scrapy的cmdline.execute()内部会调用sys.exit()，直接终止整个Python进程，导致进程结束后后续代码根本没机会运行。

解决方案 #

方法1：使用Scrapy官方API启动爬虫（推荐） #

放弃cmdline.execute()，改用CrawlerProcess或CrawlerRunner直接调用爬虫API，这样不会终止主进程，循环逻辑可以正常执行。

示例代码：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import time

def run_spider():
    # 加载项目配置
    process = CrawlerProcess(get_project_settings())
    # 启动指定爬虫（替换成你的爬虫名称）
    process.crawl("your_spider_name")
    # 启动爬虫，阻塞直到爬虫完成
    process.start()

if __name__ == "__main__":
    # 循环执行爬虫，间隔1小时（可自行调整）
    while True:
        run_spider()
        print("End of program")  # 现在这条语句会正常输出
        time.sleep(3600)

方法2：用系统定时任务实现自动化（生产环境首选） #

如果只是需要定期执行爬虫，没必要一直挂着Python脚本，直接用系统自带的定时任务更稳定：

• Linux/macOS：使用cron，编辑定时任务：

  # 每天凌晨2点执行爬虫
  0 2 * * * cd /path/to/your/scrapy/project && scrapy crawl your_spider_name
  

• Windows：打开「任务计划程序」，创建新任务：
  1. 触发条件设置为你需要的执行频率（比如每天）
  2. 操作选择「启动程序」，程序选Python安装路径下的python.exe
  3. 添加参数：-m scrapy crawl your_spider_name
  4. 设置起始目录为你的Scrapy项目根路径

方法3：用subprocess启动子进程执行爬虫 #

如果坚持要用scrapy crawl命令，可以通过subprocess启动子进程执行，避免主进程被终止：

import subprocess
import time

while True:
    # 启动爬虫子进程，cwd填你的项目路径
    subprocess.run(["scrapy", "crawl", "your_spider_name"], cwd="/path/to/your/project")
    print("End of program")
    time.sleep(3600)

内容的提问来源于stack exchange，提问作者octo-gengar