求助：基于Scrapyrt调用Scrapy爬虫的Web表单异常问题

我之前也碰到过一模一样的问题！核心原因是Scrapyrt的请求是同步阻塞式的——当你关闭浏览器时，HTTP连接直接中断，Scrapyrt会立刻终止正在运行的爬虫进程。要实现稳定的后台爬虫调用，关键是把「触发爬虫」和「爬虫运行」完全解耦开，下面是几个经过验证的靠谱方案：

方案一：用任务队列实现异步调用（推荐） #

最适合生产环境的方案，通过Celery+Redis/RabbitMQ把爬虫任务丢进后台队列，Web请求只负责触发任务，和爬虫运行彻底分离。

• 具体步骤：

  1. 搭建Celery环境，配置Redis或RabbitMQ作为消息中间件
  2. 编写Celery任务函数，直接调用Scrapy的核心API（不用Scrapyrt）启动爬虫
  3. Web表单提交后，在视图里异步触发任务，立刻给用户返回响应
  4. 后台Worker持续运行，哪怕浏览器关闭，爬虫也会在后台执行完成

• 代码示例：

# tasks.py
from celery import Celery
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
from myspider.spiders.myspider import MySpider

# 初始化Celery，用Redis做消息中间件
app = Celery('spider_tasks', broker='redis://localhost:6379/0')
configure_logging()
runner = CrawlerRunner()

@app.task
def run_my_spider():
    runner.crawl(MySpider)
    runner.start()

# Flask Web视图示例
from flask import Flask, request
from tasks import run_my_spider

app = Flask(__name__)

@app.route('/trigger-spider', methods=['POST'])
def trigger_spider():
    # 异步触发爬虫任务
    run_my_spider.delay()
    return {"status": "success", "msg": "爬虫已在后台启动"}

方案二：用后台进程启动爬虫 #

如果不想引入任务队列，可以直接在Web服务里通过subprocess启动后台进程运行爬虫，脱离终端和HTTP连接的限制。

• 代码示例：

import subprocess
from flask import Flask, request

app = Flask(__name__)

@app.route('/run-spider', methods=['POST'])
def run_spider():
    # 用nohup让爬虫在后台运行，日志输出到指定文件
    subprocess.Popen(
        ['nohup', 'scrapy', 'crawl', 'myspider'],
        stdout=open('/var/log/spider_run.log', 'a'),
        stderr=subprocess.STDOUT,
        shell=False
    )
    return {"status": "success", "msg": "爬虫已后台启动"}

• 注意：要做好日志管理和进程去重，避免重复启动同一个爬虫。

方案三：用Scrapyd替代Scrapyrt #

Scrapyd是官方提供的Scrapy服务端，专门用来管理和运行爬虫，天生支持异步任务提交。提交任务后，Scrapyd会在后台持续运行爬虫，不受浏览器关闭影响，还能查询任务状态、日志。

• 操作步骤：

  1. 安装Scrapyd：pip install scrapyd
  2. 启动Scrapyd服务：scrapyd
  3. 部署爬虫到Scrapyd：配置scrapyd.conf后，用scrapyd-deploy命令部署
  4. Web表单提交时，调用Scrapyd的API触发爬虫

• API调用示例：

import requests
from flask import Flask, request

app = Flask(__name__)

@app.route('/schedule-spider', methods=['POST'])
def schedule_spider():
    # 向Scrapyd提交调度请求
    resp = requests.post(
        'http://localhost:6800/schedule.json',
        data={'project': 'my_project', 'spider': 'my_spider'}
    )
    return resp.json()

总结 #

个人最推荐Scrapyd或Celery+任务队列的方案：前者是官方工具，配置简单，自带任务管理功能；后者灵活性更高，适合复杂的任务调度场景。尽量避免用Scrapyrt做生产环境的爬虫触发，它更适合调试和简单的同步调用场景。

内容的提问来源于stack exchange，提问作者Renato Oliveira