如何为Scrapy项目配置Celery Beat？解决Reactor及Worker进程问题

核心问题分析 #

你遇到的两个问题本质是Celery的进程模型和Scrapy依赖的Twisted Reactor之间的冲突：

• 设置stop_after_crawl=True时，爬虫结束后Twisted Reactor会被关闭，而Celery Worker是复用进程的，下次任务在同一个进程中启动Reactor就会触发ReactorNotRestartable错误。
• 设置stop_after_crawl=False时，Reactor会持续运行，占用Worker进程，当Worker进程数（并发数）被占满后，没有空闲进程处理新任务，导致Worker停止响应。

解决方案一：用Twisted Deferred正确管理Reactor（进程内解决） #

修改tasks.py代码，通过绑定爬虫结束信号手动停止Reactor，确保每次任务结束后Reactor被正确关闭，且仅在当前任务进程内运行：

from celery import Celery, shared_task
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from scrapy_project.scrapy_project.spiders import myspider
from twisted.internet import reactor

app = Celery('tasks', broker='redis://localhost:6379/0')

@shared_task
def scrape_news_website():
    print('SCRAPING RIGHT NOW!')
    settings = get_project_settings()
    process = CrawlerProcess(settings)
    
    # 爬虫完成后触发Reactor停止
    def stop_reactor(_):
        reactor.stop()
    
    # 绑定爬虫完成信号
    crawler = process.crawl(myspider)
    crawler.addCallback(stop_reactor)
    
    # 启动Reactor，此时stop_after_crawl保持默认True即可
    reactor.run()

原理：每个Celery任务会分配到独立的Worker进程，Reactor在当前任务进程内启动和关闭，不会影响其他任务或Worker进程的复用。

解决方案二：用Subprocess独立运行Scrapy（最稳妥） #

将Scrapy作为独立子进程启动，完全隔离Celery Worker进程和Scrapy的Twisted环境，从根源避免冲突：

from celery import Celery, shared_task
import subprocess
import os

app = Celery('tasks', broker='redis://localhost:6379/0')

@shared_task
def scrape_news_website():
    print('SCRAPING RIGHT NOW!')
    # 切换到Scrapy项目的根目录（替换为你的实际路径）
    os.chdir('/absolute/path/to/your/scrapy_project')
    # 调用Scrapy命令启动爬虫
    subprocess.run(['scrapy', 'crawl', 'myspider'], check=True)

优势：

• 完全隔离进程，无任何Reactor冲突问题。
• 爬虫任务结束后子进程自动退出，不会占用Celery Worker进程。
• 代码逻辑简单，无需处理Twisted的复杂异步逻辑，适合定时任务场景。

推荐方案 #

优先选择方案二，因为它彻底规避了Celery与Twisted的进程模型冲突，维护成本低，稳定性更高，尤其适合每日定时运行的场景。

内容的提问来源于stack exchange，提问作者emdhdr