AWS EC2 Ubuntu上高CPU占用Python脚本通过screen运行随机被Killed的排查方法
故障排查操作步骤
1. 优先确认是否为内核OOM Killer触发的进程终止
你在前台运行脚本时看到输出Killed,是Linux内核OOM机制的典型特征,和程序本身的报错、screen的配置无关。
- 直接读取内核环形缓冲区日志,执行命令:
sudo dmesg -T | grep -E "Out of memory|Killed process",如果能匹配到对应Python进程的记录,就能直接确认是内存耗尽后内核主动杀掉了进程。 - 你的实例规格为a1.medium,总内存仅1GiB,且默认没有配置交换分区。脚本持续跑满CPU计算时,如果内存申请出现瞬时峰值,内核会优先挑选占用内存最高的进程终止,释放内存给系统基础进程,这个过程不会给被终止的进程留写入日志的时间,这也是你的screen日志始终为空的核心原因。
- 临时验证方法:开两个并行终端,一个运行脚本,另一个每隔1秒刷新内存占用:
watch -n 1 free -h,观察脚本被杀的瞬间,是否存在可用内存直接跌为0的情况。
2. 排查sudo启动screen报[screen is terminating]的原因
这个报错和你要运行的脚本没有关联,是screen本身的用户会话隔离机制导致的:
- 每个用户的screen会话存在独立的运行目录,普通用户的会话目录为
/run/screen/S-<用户名>,root用户的会话目录为/run/screen/S-root。很多系统默认没有为root提前创建该目录、权限配置不匹配时,启动root权限的screen就会直接退出。 - 如果确实需要用root权限启动screen,可手动创建对应目录后再启动:
sudo mkdir -p /run/screen/S-rootsudo chmod 700 /run/screen/S-root
执行后再启动root的screen会话就不会报错。注意:如果你的脚本本身不需要系统级权限,完全没必要切root运行,根本解决不了OOM杀进程的问题。
3. 解决screen日志为空的问题
日志为空大多和权限无关,是两个常见配置坑导致的:
- 确认日志路径:使用相对路径配置
-Logfile时,日志文件会生成在你启动screen时的当前工作目录,不是你预想的路径。 - 处理Python输出缓冲问题:Python在将输出重定向到文件时,默认会开启全缓冲,即攒够4KB的内容才会写入磁盘。如果进程被内核直接杀掉,缓冲区里的内容根本来不及落盘,就会出现日志完全为空的情况。运行脚本时加上
-u参数禁用输出缓冲即可解决,即python3 -u your_script.py。
4. 长期稳定运行的调整方案
- 给实例添加1GiB大小的临时交换分区,弥补a1.medium内存偏小的硬伤,避免内存瞬时峰值直接触发OOM。
- 替换screen作为进程托管工具:编写简单的systemd服务运行脚本,配置
Restart=always让进程异常退出后自动拉起,stdout/stderr会自动被journald收集,不需要单独配置日志文件,也不会出现日志丢失的问题。 - 给Python脚本配置内存占用上限,避免单进程内存涨满整机内存,可使用
prlimit --as=<内存上限> python3 -u your_script.py启动,让进程在内存超限时自己抛出可捕获的异常,而不是被内核直接终止。
内容的提问来源于stack exchange,提问作者Nikolay Dyankov
相关产品推荐
相关产品推荐

