Python Logger：如何为每个线程配置独立的日志记录属性（user_id）？

你的问题出在每个线程都给全局的logger添加了新的ContextFilter实例，这会导致过滤器堆叠混乱：所有线程的日志都会经过所有已添加的过滤器，每个过滤器都会尝试设置record.user_id，后面的过滤器会覆盖前面的值，最终就出现了有的日志user_id变成NoValue的情况。

正确的解决方案：单一全局过滤器 + 线程本地存储 #

我们只需要一个全局的ContextFilter，它内部维护线程本地存储（threading.local()），然后在每个线程中仅更新当前线程的user_id即可，不需要重复添加过滤器。

修改后的完整代码如下：

import logging
import threading
import time

class ContextFilter(logging.Filter):
    def __init__(self):
        super().__init__()
        # 全局的线程本地存储，每个线程拥有独立的user_id副本
        self.local = threading.local()
        # 设置默认值
        self.local.user_id = 'NoValue'

    def set_user_id(self, user_id: str):
        # 提供方法用于设置当前线程的user_id
        self.local.user_id = user_id

    def filter(self, record):
        # 从当前线程的本地存储中获取user_id
        record.user_id = getattr(self.local, 'user_id', 'NoValue')
        return True

# 全局日志配置
logger = logging.getLogger("my_logger")
logger.setLevel(logging.DEBUG)
logger.propagate = False  # 避免日志向上传播到根 logger

# 初始化全局的ContextFilter并添加到logger
context_filter = ContextFilter()
logger.addFilter(context_filter)

# 设置日志格式和处理器
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(user_id)s - %(message)s')
handler = logging.StreamHandler()
handler.setFormatter(formatter)
logger.addHandler(handler)

def worker(user_id: str):
    # 仅设置当前线程的user_id，无需添加新过滤器
    context_filter.set_user_id(user_id)
    logger.info("message 1")
    time.sleep(0.5)
    logger.info("message 2")
    # 可选：任务结束后重置user_id，避免线程复用（如线程池场景）时残留旧值
    context_filter.set_user_id('NoValue')

# 启动线程测试
t1 = threading.Thread(target=worker, args=("user1",))
t2 = threading.Thread(target=worker, args=("user2",))

t1.start()
t2.start()

t1.join()
t2.join()

运行结果 #

执行后会输出符合预期的日志，每个线程的user_id会正确对应：

2024-11-20 18:00:00,000 - INFO - user1 - message 1
2024-11-20 18:00:00,000 - INFO - user2 - message 1
2024-11-20 18:00:00,501 - INFO - user1 - message 2
2024-11-20 18:00:00,501 - INFO - user2 - message 2

关键说明 #

1. 单一全局过滤器：避免了过滤器堆叠，所有线程的日志仅经过这一个过滤器处理。
2. 线程本地存储：threading.local()确保每个线程的user_id是独立的，不会互相干扰。
3. 无需重复添加过滤器：线程仅需更新当前线程的user_id值，操作更简洁，也不会污染全局logger的过滤器列表。

备注：内容来源于stack exchange，提问作者Gino