Spyder IDE中Python logging行为与命令行解释器不一致的异常排查
异常成因
- 所谓"日志提前输出"并非代码执行顺序错误,本质是stdout与stderr的输出缓冲机制差异:
- 代码中的
print()函数默认输出到sys.stdout,Spyder的IPython内核在批量执行完整脚本时,会将stdout的内容暂存到缓冲区,等整个脚本执行完毕后一次性推送给前端。 logging.StreamHandler()默认不指定stream参数时,会输出到sys.stderr,而stderr默认采用实时推送机制,无批量缓冲。代码执行到日志输出语句时,内容会立刻推送到前端。- 最终就会出现:所有
stderr的日志内容先显示,所有stdout的print内容后显示,视觉上呈现日志"提前执行"的错觉,实际代码执行逻辑和命令行环境完全一致。
- 代码中的
- "启动时已有18个logger"属于Spyder运行环境的正常状态:Spyder基于IPython内核启动,初始化阶段就已经导入了tornado、asyncio、parso等依赖库,这些库会在导入时自动创建自身的logger,因此
logging.root.manager.loggerDict在你的脚本启动前就已经存在18个条目,和你的代码无关。 - 调试模式下运行正常的原因:逐行调试时,每执行一行代码,IPython内核就会实时刷新并推送当前行的输出,不会出现缓冲区暂存的问题,因此输出顺序符合预期。
可落地的解决方案
修复输出顺序混乱
强制将logging的输出流和print统一为同一个stdout,消除流缓冲机制差异。修改setup_logger内的handler初始化代码:
import sys # 原代码:sh = logging.StreamHandler() # 修改为指定输出到stdout sh = logging.StreamHandler(stream=sys.stdout)
如果不想修改logger配置,也可以在脚本所有逻辑执行完毕后,强制刷新stdout缓冲区:
import sys sys.stdout.flush()
解决重复运行脚本时的handler叠加问题
Spyder会保留持续运行的IPython会话,重复运行脚本时logging.getLogger(__name__)获取到的是同一个已存在的logger对象,直接addHandler会导致handler重复叠加、日志多次输出。需要在添加新handler前,先清空已有的handler:
def setup_logger(name): logger = logging.getLogger(name) logger.setLevel(logging.DEBUG) # 清空该logger下已有的所有handler,避免重复叠加 logger.handlers.clear() sh = logging.StreamHandler(stream=sys.stdout) sh.setLevel(logging.INFO) sh.setFormatter(logging.Formatter(_log_format)) logger.addHandler(sh) # 后续原有逻辑保持不变
关于Spyder内置logger的说明
无需对Spyder自带的18个logger做任何处理,这类条目是Spyder内核运行的必要组件,不会影响自定义日志的使用。如果需要统计自定义logger的数量,只需排除内置库对应的logger条目即可。
内容的提问来源于stack exchange,提问作者bjk
相关产品推荐
相关产品推荐

