如何为Scrapy异步运行的爬虫日志添加爬虫名称前缀？

针对异步启动多爬虫时日志混乱、无法区分归属的问题，可通过自定义日志过滤器+Scrapy扩展实现每条日志自动添加所属爬虫名称前缀，具体步骤如下：

实现步骤 #

1. 编写自定义日志过滤器 #

该过滤器会为每条日志记录注入当前爬虫名称属性，供日志格式调用：

import logging

class SpiderNameFilter(logging.Filter):
    def __init__(self, spider_name):
        self.spider_name = spider_name
        super().__init__()

    def filter(self, record):
        # 为日志记录添加spider_name字段
        record.spider_name = self.spider_name
        return True

2. 编写Scrapy扩展 #

通过扩展监听爬虫启动信号，将过滤器绑定到日志处理器，并设置自定义日志格式：

from scrapy import signals
from scrapy.exceptions import NotConfigured

class SpiderLogPrefixExtension:
    def __init__(self, crawler):
        self.crawler = crawler
        # 通过开关控制是否启用扩展
        if not crawler.settings.getbool('SPIDER_LOG_PREFIX_ENABLED'):
            raise NotConfigured

    @classmethod
    def from_crawler(cls, crawler):
        ext = cls(crawler)
        # 绑定爬虫启动信号
        crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
        return ext

    def spider_opened(self, spider):
        # 为所有日志处理器添加爬虫名称过滤器
        for handler in logging.getLogger().handlers:
            handler.addFilter(SpiderNameFilter(spider.name))
        # 加载自定义日志格式并设置到处理器
        log_format = self.crawler.settings.get('SPIDER_LOG_FORMAT')
        formatter = logging.Formatter(log_format)
        for handler in logging.getLogger().handlers:
            handler.setFormatter(formatter)

3. 配置项目settings.py #

启用扩展并定义日志格式：

# 注册扩展（替换为你的扩展实际路径）
EXTENSIONS = {
    'your_project_name.extensions.SpiderLogPrefixExtension': 500,
}

# 开启日志前缀功能
SPIDER_LOG_PREFIX_ENABLED = True

# 自定义日志格式，使用%(spider_name)s占位符输出爬虫名称
SPIDER_LOG_FORMAT = '%(levelname)s [%(spider_name)s] %(asctime)s %(name)s: %(message)s'

方案说明 #

• 为什么之前的尝试无效：LOG_FORMAT中的%(name)对应日志模块名（如scrapy.core.engine），而非爬虫名称；Scrapy全局设置在进程启动后不可修改，但日志处理器支持动态添加过滤器和修改格式，这是该方案的核心。
• 异步场景适配：每个爬虫启动时，扩展会为日志处理器绑定对应爬虫的过滤器，确保异步运行时每条日志都能正确带上所属爬虫的名称前缀。

内容的提问来源于stack exchange，提问作者Yoyoda