EC2实例空闲内存快速被占?大量CPM.py睡眠进程占内存不释放如何排查
问题根因定位与处理指南
核心现状观察
- 实例总内存7.5G,当前已用6.6G,可用内存仅683M,无Swap配置,一旦内存耗尽会直接触发OOM终止进程甚至系统无响应
- 排查进程输出里,共发现22个独立运行的
/usr/local/bin/CPM.py进程,全部归属ec2-user,进程状态均为S(可中断睡眠),CPU占用接近0 - 注意不要误判内存占用数值:ps输出中335xxx开头的列是虚拟内存申请量,不代表实际物理内存占用;真正的物理内存占用是后面25-30M/进程的RSS值,单进程占比不高,但多个进程长期驻留会持续消耗内存
- 所有CPM.py进程的启动时间从早9点到14:11连续分布,说明有固定触发源周期性拉起脚本,但脚本启动后没有正常退出,成为残留进程持续累积
即时应急处理(快速释放占满的内存)
- 直接批量杀掉残留进程是完全安全的:这些进程都是睡眠等待状态,没有正在执行的计算任务,不会打断核心业务流程。执行命令:
pkill -u ec2-user -f /usr/local/bin/CPM.py执行前先跑一遍
pgrep -u ec2-user -af CPM.py,确认匹配到的目标进程都是残留的脚本,避免误杀正在运行的有效任务 - 杀完后重新执行
free -h查看内存变化,被驻留进程占用的物理内存会快速回收到可分配区间 - 根因修复前可加临时防护:配置10分钟一次的定时检查,当CPM.py进程数超过3个就自动清理,避免内存再次被占满
根因排查步骤(避免问题反复)
杀进程只是临时手段,必须找到脚本反复残留的原因:
- 第一查触发源:
- 查看ec2-user的定时任务配置:
crontab -u ec2-user -l,确认是否有周期性执行CPM.py的规则 - 排查系统级定时任务目录:
ls -l /etc/cron.d/ /etc/cron.hourly/ /etc/cron.daily/,看是否有其他脚本配置调用CPM.py - 查进程的父进程关系:执行
pstree -paec | grep CPM.py,如果进程的父进程ID是1(systemd),说明原来的触发源已经退出,脚本成了无人管理的孤儿进程驻留在系统中
- 查看ec2-user的定时任务配置:
- 第二查脚本本身的退出逻辑:
- 打开
/usr/local/bin/CPM.py代码,重点确认两个常见问题:- 是否残留了无退出条件的无限sleep循环——很多人调试脚本时加了sleep等待逻辑,上线时忘了注释,导致脚本跑完主逻辑就一直停在睡眠状态退不出去
- 是否存在未正常关闭的网络连接、文件句柄,导致进程卡在IO等待的睡眠状态无法退出
- 手动测试脚本退出能力:执行
timeout 30 /usr/bin/python /usr/local/bin/CPM.py,如果脚本在30秒内没有正常退出,直接说明脚本的退出逻辑存在缺陷
- 打开
- 第三排查剩余内存去向:
- 当前20多个CPM.py进程加起来仅占约600M物理内存,和已用的6.6G内存规模差距较大,需要执行
sudo smem -t汇总所有进程的实际物理内存占用,找到没有被之前排序命令捕捉到的高内存进程——你之前执行的ps-aux --sort -pmem(ps与aux之间缺少空格)实际容易出现命令执行报错,正确的内存排序命令是ps aux --sort -pmem
- 当前20多个CPM.py进程加起来仅占约600M物理内存,和已用的6.6G内存规模差距较大,需要执行
长期防复发配置
- 给所有定时执行的脚本加超时控制:crontab中调用CPM.py时,不要直接写脚本路径,改为
/usr/bin/timeout 60 /usr/bin/python /usr/local/bin/CPM.py,不管脚本卡在什么位置,到60秒就强制终止,不会残留驻留 - 补充基础Swap兜底:当前实例无Swap配置,内存耗尽时会直接卡死,建议配置2G大小的Swap作为临时缓冲,避免业务直接中断
- 配置进程数阈值告警:当ec2-user名下的CPM.py进程数超过5个时自动触发告警,不用等内存占满才发现异常
内容的提问来源于stack exchange,提问作者kumar0205
相关产品推荐
相关产品推荐

