Asyncio应用中QueueHandler日志无法写入文件的问题求助

核心原因 #

问题出在程序退出时机与QueueListener的生命周期不匹配：当你在main函数的try-except块中捕获异常并记录日志时，事件循环已经结束，程序可能在QueueListener线程处理完队列中的日志条目之前就直接退出了，导致日志留在队列里没写入文件；而在go_ahead内部记录时，事件循环还在运行，QueueListener有足够时间处理日志。

解决步骤 #

1. 确保QueueListener处理完剩余日志再退出
   在程序退出前，显式等待QueueListener处理完队列中的所有日志，避免强制终止线程。示例代码如下：

   import asyncio
   import logging
   from logging.handlers import RotatingFileHandler, QueueHandler, QueueListener
   import queue
   
   def setup_logging():
       log_queue = queue.Queue(-1)
       file_handler = RotatingFileHandler('app.log', maxBytes=1024*1024, backupCount=5)
       formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
       file_handler.setFormatter(formatter)
       queue_listener = QueueListener(log_queue, file_handler)
       logger = logging.getLogger('asyncio_app')
       logger.setLevel(logging.INFO)
       logger.addHandler(QueueHandler(log_queue))
       return logger, queue_listener, log_queue
   
   async def go_ahead():
       1 / 0  # 抛出除零异常
   
   def main():
       logger, queue_listener, log_queue = setup_logging()
       queue_listener.start()
       try:
           asyncio.run(go_ahead())
       except Exception as err:
           logger.info(err, exc_info=True)
       finally:
           # 停止接收新日志，等待现有日志处理完成
           queue_listener.stop()
           log_queue.join()  # 等待队列中所有任务被处理
           queue_listener.join()  # 等待Listener线程完全结束
   
   if __name__ == '__main__':
       main()
   

2. 排查日志级别与过滤规则
   虽然你在函数内部记录正常，但仍需确认：

   • 根日志器或目标日志器的级别是否设置为logging.INFO及以下
   • RotatingFileHandler是否没有额外添加过滤规则导致INFO日志被拦截

3. 避免在事件循环外过早终止资源
   确保QueueListener在整个程序生命周期内保持活跃，直到所有日志都处理完毕，不要在捕获异常后直接调用exit()或类似终止程序的操作。

内容的提问来源于stack exchange，提问作者Ramesses III