Python中如何捕获cgroup内存溢出触发的进程终止信号
问题根因说明
你之前写的信号捕获逻辑完全接不到预期的触发,本质是两个绕不开的Linux内核硬规则:
- 系统触发
Memory cgroup out of memory杀掉进程时,内核给进程发送的是SIGKILL信号。 - 按照内核的设计约束,
SIGKILL是不可捕获、不可阻塞、无法被应用程序自定义处理逻辑的信号,目的就是保证失控进程一定会被强制终止,不会留机会让应用程序拦截。别尝试在Python里注册SIGKILL的处理逻辑,这种写法运行的时候会直接抛ValueError,告诉你这个信号不可被修改。所以你在代码里注册再多信号监听,都等不到这个触发时机,程序会被直接终止,连打印日志的机会都没有。 - 顺带提一句你现有代码还有个很容易踩的Python作用域坑:信号处理函数里给
kill_now赋值的时候,没加global关键字声明,按照Python的变量查找规则,这种写法只会在函数内部生成一个和全局变量同名的局部变量,根本改不到外层的kill_now值。就算真的收到了SIGINT、SIGTERM这类可以捕获的信号,循环里判断的全局值还是初始的False,压根停不下来。
可落地的实现方案
方案1:主动盯内存水位,提前打提示,不等到被系统杀
既然SIGKILL根本拦不住,那就换个思路:程序跑的时候主动监控当前cgroup的内存占比,在系统准备触发OOM kill之前,就主动停下流程,打你想要的友好提示,根本不给内核强制终止的机会。
- 现在主流的容器、服务器环境用的都是cgroup v2,直接读cgroup虚拟文件系统里的两个文件就行:
/sys/fs/cgroup/memory.current存了当前进程组的实际内存占用,/sys/fs/cgroup/memory.max存了这个cgroup的内存上限,两个值一比就能算出当前占了多少内存。旧版cgroup v1可以对应修改读取路径,从memory.stat里解析对应的值。 - 结合你分块读数据的逻辑,每读完一个分块、把数据append到结果列表里的时候,就顺手算下内存占比,超过你设的安全阈值(比如占到上限的90%)就主动跳出循环。
参考实现片段:
import pandas as pd SAFE_MEM_THRESHOLD = 0.9 # 内存占比达到cgroup上限的90%就主动终止 def get_cgroup_mem_ratio(): # 适配cgroup v2的内存读取逻辑 with open("/sys/fs/cgroup/memory.current", "r") as f: current_used = int(f.read().strip()) with open("/sys/fs/cgroup/memory.max", "r") as f: mem_limit = int(f.read().strip()) return current_used / mem_limit sql_reader = pd.read(query, conn, chunksize=1000) table_data = [] will_oom = False for chunk in sql_reader: table_data.append(chunk) # 每读完一个分块检查内存水位 if get_cgroup_mem_ratio() >= SAFE_MEM_THRESHOLD: will_oom = True break if will_oom: print("当前内存占用已接近cgroup上限,无法载入完整查询结果,请申请更多内存资源后重试")
方案2:外层包个壳,识别被OOM杀掉的退出码
被SIGKILL干掉的进程,系统返回的退出码是固定的137——这个是POSIX标准定的,被信号终止的进程退出码就是128加上信号的编号,SIGKILL的编号是9,算出来就是137。
你完全可以不用在Python代码里拦信号,只要把原来直接跑Python的入口,换成一个简单的外层脚本,等Python程序跑完之后看一眼退出码,只要是137,就打友好提示。这种方式不用改你内部的核心业务逻辑,改起来成本最低。
参考的shell封装脚本:
#!/bin/bash # 启动你的主程序 python your_data_query_module.py exit_code=$? # 识别被SIGKILL终止的场景,大概率就是触发了cgroup OOM if [ $exit_code -eq 137 ]; then echo "程序因内存耗尽被系统强制终止,请申请更多内存资源后重试" fi # 把原程序的退出码透传出去,不影响原有逻辑 exit $exit_code
方案3:从根本上降内存占用,别等OOM
你现在虽然用了pandas的chunksize分块读,但最后把所有读出来的分块都存在内存的列表里,本质还是要把全量数据塞到内存里,只是把一次读数据库的操作拆成了多次,内存峰值根本没降。
可以改下逻辑:每读完一个分块,就增量把数据写到本地的Parquet之类的列式文件里,不要把所有分块都攒在内存里,这样内存占用始终和单个分块的大小差不多,自然不会撑爆,也就不会触发OOM kill。
内容的提问来源于stack exchange,提问作者Conor
相关产品推荐
相关产品推荐

