GCE虚拟机中Python追踪日志被截断的原因及修复方案

核心原因是Python在非终端环境下默认使用块缓冲：当输出被重定向到文件时，Python会积攒输出内容到缓冲区，直到缓冲区满才写入文件。如果脚本崩溃时缓冲区还有未写入的内容，就会导致日志被截断，和你猜想的进程终止前未完成写入的逻辑一致，但本质是缓冲机制导致的。

以下是几种可行的解决方法：

• 启动Python时强制禁用缓冲
  调用Python时添加-u参数，强制stdout/stderr使用无缓冲模式，输出会直接写入日志文件：

  python3 -u main.py
  

• 用stdbuf控制缓冲行为
  通过stdbuf命令强制Python输出使用行缓冲，每一行内容都会立即写入文件：

  stdbuf -oL -eL python3 main.py
  

  其中-oL对应stdout行缓冲，-eL对应stderr行缓冲。

• 在Python脚本内手动刷新缓冲区
  在脚本开头或异常处理逻辑中手动设置缓冲模式，或在关键节点刷新缓冲区：

  import sys
  # 设置为无缓冲
  sys.stdout = open(sys.stdout.fileno(), 'w', buffering=0)
  sys.stderr = open(sys.stderr.fileno(), 'w', buffering=0)
  
  # 或者在异常捕获后刷新
  try:
      # 你的业务逻辑
      raise RecursionError("模拟长追踪栈错误")
  except Exception:
      sys.stdout.flush()
      sys.stderr.flush()
      raise
  

• 调整bash脚本的输出逻辑
  可以将Python的输出通过管道传递给cat，利用cat的行缓冲特性确保内容实时写入（需调整原脚本的exec重定向避免重复输出）：

  # 替换原脚本中python3 main.py这一行
  python3 main.py |& cat >> /var/log/startup-script.log
  

验证方案：可以在main.py中写一段会产生长追踪栈的代码（比如无限递归），测试修改后的日志是否能完整记录所有错误信息。

内容的提问来源于stack exchange，提问作者philosofool