Scrapy+Twisted初始化Spider时异常未抛出且进程冻结问题咨询

你遇到的核心问题是Twisted的Deferred错误处理机制与Scrapy CrawlerRunner的异步执行逻辑共同导致异常被静默吞噬，进而让进程挂起，具体拆解如下：

• 异步任务的异常捕获：runner.crawl(MySpider)看似同步执行，但Scrapy会将爬虫初始化、启动逻辑包装到Twisted的异步任务队列中。当__init__抛出异常时，该异常会被捕获并转化为失败的Deferred对象，但你未给这个Deferred绑定错误回调，导致错误被Twisted静默处理。
• 未处理的Deferred不会中断流程：Twisted默认行为是，未绑定错误回调的失败Deferred不会主动将异常输出到控制台，只会吞噬错误；而runner.join()返回的Deferred会等待所有启动的爬虫完成任务，你的爬虫在初始化阶段就失败，根本没进入运行状态，导致runner.join()永远无法触发完成回调，reactor.stop()也就不会被调用，进程卡在reactor.run()阶段。

至于解析阶段抛异常能正常终止，是因为该阶段的异常会被Scrapy的爬虫错误处理机制捕获，触发爬虫关闭逻辑，最终让runner.join()的Deferred完成，进而终止reactor。

验证异常是否被吞噬 #

给runner.crawl()返回的Deferred绑定错误回调，即可看到被吞噬的异常：

def main():
    configure_logging()
    settings = get_project_settings()
    runner = CrawlerRunner(settings)
    # 捕获crawl任务的异常
    crawl_deferred = runner.crawl(MySpider)
    def handle_error(failure):
        print(f"初始化异常详情: {failure}")
        reactor.stop()
    crawl_deferred.addErrback(handle_error)
    
    d = runner.join()
    d.addBoth(lambda _: reactor.stop())
    reactor.run()

运行后就能看到__init__中抛出的异常信息，进程也会正常终止。

合规的初始化错误处理方式 #

不建议在Spider的__init__中直接抛异常，更符合Scrapy/Twisted规范的做法有两种：

1. 在start_requests中做校验并抛异常：该阶段的异常会被Scrapy的错误处理机制捕获，正常输出日志并终止进程：

class MySpider(Spider):
    def __init__(self, name=None, **kwargs):
        super().__init__(name=name, **kwargs)
        self.target_param = kwargs.get('target_param')

    def start_requests(self):
        # 在这里做参数校验与异常抛出
        if not self.target_param:
            raise ValueError("缺少必要参数target_param")
        # 正常请求逻辑
        yield Request(url='https://example.com', callback=self.parse)

2. 在实例化前同步校验参数：如果是初始化参数问题，直接在调用runner.crawl()前做校验，同步抛出异常，避免进入异步流程。

内容的提问来源于stack exchange，提问作者Artem Serdechnyi