如何在Scrapy中拦截CLOSESPIDER_TIMEOUT并记录错误？是否用中间件？

不需要使用中间件，通过重写爬虫的closed方法或者利用Scrapy的信号扩展就能轻松实现需求，以下是两种可行方案：

方案一：在爬虫类中重写closed方法（适合单个/少数爬虫） #

直接在你的爬虫类里重写closed钩子方法，当爬虫关闭时判断结束原因，若为超时则记录error日志：

import scrapy
import logging

# 初始化日志器
logger = logging.getLogger(__name__)

class ExampleSpider(scrapy.Spider):
    name = 'example'
    # 设置超时时间（单位：秒）
    closespider_timeout = 300

    def closed(self, reason):
        # 检查是否因超时触发关闭
        if reason == 'closespider_timeout':
            logger.error(f"爬虫 [{self.name}] 因达到CLOSESPIDER_TIMEOUT限制被强制关闭")
        # 调用父类的closed方法，确保原有逻辑正常执行
        super().closed(reason)

方案二：编写Scrapy扩展（适合多爬虫复用） #

如果多个爬虫都需要这个功能，推荐写一个全局扩展，通过监听spider_closed信号统一处理：

1. 在项目目录下创建extensions.py文件，写入以下代码：

import logging
from scrapy import signals

logger = logging.getLogger(__name__)

class TimeoutCloseLogger:
    @classmethod
    def from_crawler(cls, crawler):
        extension = cls()
        # 绑定spider_closed信号的处理函数
        crawler.signals.connect(extension.handle_spider_closed, signal=signals.spider_closed)
        return extension

    def handle_spider_closed(self, spider, reason):
        if reason == 'closespider_timeout':
            logger.error(f"爬虫 [{spider.name}] 因CLOSESPIDER_TIMEOUT触发被关闭")

2. 在项目的settings.py中启用该扩展：

EXTENSIONS = {
    # 替换为你的项目路径，数字代表优先级（值越小优先级越高）
    'your_project_name.extensions.TimeoutCloseLogger': 500,
}

两种方案都能精准拦截超时关闭事件并记录日志，相比中间件，这种方式更贴合Scrapy的事件处理机制，逻辑更清晰。

内容的提问来源于stack exchange，提问作者bcsta