如何集成Scrapy爬虫与Django并同步等待爬取完成

对Scrapyd的认知澄清 #

你关于Scrapyd仅具备调度能力、无法追踪任务完成状态的判断存在偏差

• Scrapyd原生提供完整的任务状态查询接口，提交爬取任务后会返回唯一任务ID，通过调用任务列表查询接口即可持续跟踪目标任务的运行状态，匹配到任务为完成/失败状态后，即可继续执行后续业务流程
• 该方案的局限性：若爬虫爬取耗时较长，同步轮询会导致Django请求长时间阻塞，容易触发接入层的超时限制，不适合长耗时爬取场景

解决Django内直接调用Scrapy的Reactor冲突 #

你之前在views中直接编写爬虫代码遇到的reactor启停异常，本质原因是Django运行时（开发服务器、uWSGI、Gunicorn等运行环境）已经持有全局事件循环，Twisted的reactor本身设计为单实例、不可重启的组件，在同一个进程内二次启停reactor必然抛出ReactorAlreadyRunning/ReactorNotRestartable类异常，可通过以下成熟方案实现同步等待需求：

方案1：独立子进程调用爬虫脚本 #

• 完全不在Django主进程内初始化Twisted reactor，通过Python内置的subprocess模块调用独立的爬虫执行脚本，让爬虫运行在独立的操作系统进程中
• 借助subprocess.run()的原生阻塞特性，等待独立进程完全退出后，再在views中执行后续关联业务，从根源上规避reactor和Django主事件循环的冲突
• 参考实现逻辑：

  # Django views 层调用逻辑
  import subprocess
  
  def handle_crawl_request(request):
      target_url = request.POST.get("user_input_url")
      # 阻塞等待独立爬虫进程执行结束
      subprocess.run(
          ["python", "standalone_crawl.py", f"--target={target_url}"],
          check=True,
          capture_output=True
      )
      # 爬取流程完成后再执行后续业务
      run_followup_business()
      return HttpResponse("流程执行完成")
  

  # 独立的standalone_crawl.py 脚本内容
  from scrapy.crawler import CrawlerProcess
  from spiders import UserInputSpider
  import argparse
  
  if __name__ == "__main__":
      parser = argparse.ArgumentParser()
      parser.add_argument("--target", required=True)
      args = parser.parse_args()
      crawler = CrawlerProcess(settings={})
      crawler.crawl(UserInputSpider, start_url=args.target)
      crawler.start() # 脚本执行完毕后进程退出，reactor随进程销毁，无跨进程冲突
  

方案2：Celery任务封装实现同步等待 #

• 将Scrapy爬虫逻辑封装为独立的Celery异步任务，让爬虫代码运行在独立的Celery worker进程中，与Django主进程完全隔离
• 在views层提交爬取任务后，通过Celery的AsyncResult.get()方法阻塞等待任务执行完成，拿到任务返回结果后再触发后续业务流程
• 注意点：部署时需要给Celery worker单独配置运行环境，初始化CrawlerProcess时避免和Django全局配置产生依赖冲突

需规避的错误实现 #

• 禁止在同一进程内多次调用reactor.stop()和reactor.run()，违反Twisted reactor的设计约束，必然触发运行时异常
• 不要在Django视图内无间隔空转轮询本地爬取状态，会持续占满服务worker资源，影响正常请求处理

内容的提问来源于stack exchange，提问作者Chinmay Shah