AWS Batch中Python调用time.sleep()超70秒致作业失败排查

作业无任何异常日志直接失败，本质是Python进程被外部SIGKILL信号强制终止，没有机会执行异常捕获、日志刷写逻辑。结合70秒的临界阈值、跨环境表现差异判断，是两个机制叠加触发的已知问题：

• Python默认IO缓冲机制触发无日志空窗：当Python进程的stdout/stderr没有连接到交互式终端（比如容器环境下输出被Docker守护进程接管）时，默认开启块级缓冲，print、logging输出的内容不会立刻写出，会攒到缓冲区填满（通常4~8KB）才会一次性推送。如果time.sleep()执行前的输出没有填满缓冲区，sleep全程也没有新输出，就会出现连续的日志空窗期。
• 日志驱动连接断连触发容器误杀：awslogs日志驱动需要维持TCP连接推送日志到CloudWatch，当连续60秒没有任何日志流量时，连接会被中间网络层（安全组连接跟踪、VPC端点、NAT网关）按空闲规则回收。旧版Amazon Linux 2 ECS优化版AMI预装的Docker服务存在逻辑缺陷，遇到这个断连错误时会直接向容器主进程发送SIGKILL终止容器，从断连触发到实际发送信号有10秒左右延迟，刚好对应测试出来的70秒临界值：sleep70秒时，进程会在信号发出前结束sleep，后续代码执行产生新输出重建日志连接，作业正常完成；sleep80秒时进程仍处于阻塞状态，就会被直接杀掉。
  本地开发、Jenkins环境运行正常，是因为这些场景下Python输出直接对接交互式终端，默认开启行缓冲，所有输出立刻刷出，不会出现长时间无日志推送的空窗，自然不会触发这个问题。

按优先级从高到低验证，第一个方案即可覆盖绝大多数场景：

• 关闭Python输出缓冲
  两种实现方式二选一即可，不需要修改业务代码：
  • 修改作业启动命令：将原启动命令中的python your_script.py调整为python -u your_script.py，-u参数会强制Python关闭stdout/stderr的块缓冲，所有输出直接无延迟推送
  • 配置作业环境变量：在AWS Batch作业定义的容器配置中添加环境变量PYTHONUNBUFFERED=TRUE，效果和添加-u参数完全一致
    修改后所有日志会立刻推送给日志驱动，不会出现连续60秒以上的无流量空窗，日志连接不会被空闲回收，自然不会触发误杀。
• 长sleep逻辑增加心跳输出
  如果因为特殊原因不能关闭全局缓冲，可以将长sleep拆分为短间隔循环，每10~30秒输出一次心跳日志并强制刷出，从根源避免日志空窗，示例代码：

  import time
  
  def long_sleep(total_seconds):
      elapsed = 0
      step = 20
      while elapsed < total_seconds:
          time.sleep(step)
          elapsed += step
          print(f"Job alive, slept {elapsed}/{total_seconds}s", flush=True)
  
  # 替换原有的time.sleep(360)
  long_sleep(360)
  

• 排查冗余健康检查配置
  检查AWS Batch作业定义的容器配置，如果手动添加了healthCheck健康检查规则，先确认检查命令能稳定返回0退出码，否则直接删除自定义健康检查配置。AWS Batch作业默认不需要配置容器健康检查，错误的检查规则会把长阻塞的正常进程误判为不健康终止。
• 升级计算环境AMI版本
  如果使用自定义AMI搭建计算环境，建议升级到最新的Amazon Linux 2 ECS优化版官方AMI，新版Docker已经修复了awslogs驱动断连时误杀容器的逻辑缺陷。

内容的提问来源于stack exchange，提问作者Shane Rich