You need to enable JavaScript to run this app. Python中如何捕获cgroup内存溢出触发的进程终止信号
优惠活动
大模型
产品
解决方案
定价
更多

Python中如何捕获cgroup内存溢出触发的进程终止信号

问题根因说明

你之前写的信号捕获逻辑完全接不到预期的触发,本质是两个绕不开的Linux内核硬规则:

  • 系统触发Memory cgroup out of memory杀掉进程时,内核给进程发送的是SIGKILL信号。
  • 按照内核的设计约束,SIGKILL是不可捕获、不可阻塞、无法被应用程序自定义处理逻辑的信号,目的就是保证失控进程一定会被强制终止,不会留机会让应用程序拦截。别尝试在Python里注册SIGKILL的处理逻辑,这种写法运行的时候会直接抛ValueError,告诉你这个信号不可被修改。所以你在代码里注册再多信号监听,都等不到这个触发时机,程序会被直接终止,连打印日志的机会都没有。
  • 顺带提一句你现有代码还有个很容易踩的Python作用域坑:信号处理函数里给kill_now赋值的时候,没加global关键字声明,按照Python的变量查找规则,这种写法只会在函数内部生成一个和全局变量同名的局部变量,根本改不到外层的kill_now值。就算真的收到了SIGINT、SIGTERM这类可以捕获的信号,循环里判断的全局值还是初始的False,压根停不下来。
可落地的实现方案

方案1:主动盯内存水位,提前打提示,不等到被系统杀

既然SIGKILL根本拦不住,那就换个思路:程序跑的时候主动监控当前cgroup的内存占比,在系统准备触发OOM kill之前,就主动停下流程,打你想要的友好提示,根本不给内核强制终止的机会。

  • 现在主流的容器、服务器环境用的都是cgroup v2,直接读cgroup虚拟文件系统里的两个文件就行:/sys/fs/cgroup/memory.current存了当前进程组的实际内存占用,/sys/fs/cgroup/memory.max存了这个cgroup的内存上限,两个值一比就能算出当前占了多少内存。旧版cgroup v1可以对应修改读取路径,从memory.stat里解析对应的值。
  • 结合你分块读数据的逻辑,每读完一个分块、把数据append到结果列表里的时候,就顺手算下内存占比,超过你设的安全阈值(比如占到上限的90%)就主动跳出循环。

参考实现片段:

import pandas as pd

SAFE_MEM_THRESHOLD = 0.9  # 内存占比达到cgroup上限的90%就主动终止
def get_cgroup_mem_ratio():
    # 适配cgroup v2的内存读取逻辑
    with open("/sys/fs/cgroup/memory.current", "r") as f:
        current_used = int(f.read().strip())
    with open("/sys/fs/cgroup/memory.max", "r") as f:
        mem_limit = int(f.read().strip())
    return current_used / mem_limit

sql_reader = pd.read(query, conn, chunksize=1000)
table_data = []
will_oom = False
for chunk in sql_reader:
    table_data.append(chunk)
    # 每读完一个分块检查内存水位
    if get_cgroup_mem_ratio() >= SAFE_MEM_THRESHOLD:
        will_oom = True
        break

if will_oom:
    print("当前内存占用已接近cgroup上限,无法载入完整查询结果,请申请更多内存资源后重试")

方案2:外层包个壳,识别被OOM杀掉的退出码

被SIGKILL干掉的进程,系统返回的退出码是固定的137——这个是POSIX标准定的,被信号终止的进程退出码就是128加上信号的编号,SIGKILL的编号是9,算出来就是137。
你完全可以不用在Python代码里拦信号,只要把原来直接跑Python的入口,换成一个简单的外层脚本,等Python程序跑完之后看一眼退出码,只要是137,就打友好提示。这种方式不用改你内部的核心业务逻辑,改起来成本最低。

参考的shell封装脚本:

#!/bin/bash
# 启动你的主程序
python your_data_query_module.py
exit_code=$?
# 识别被SIGKILL终止的场景,大概率就是触发了cgroup OOM
if [ $exit_code -eq 137 ]; then
    echo "程序因内存耗尽被系统强制终止,请申请更多内存资源后重试"
fi
# 把原程序的退出码透传出去,不影响原有逻辑
exit $exit_code

方案3:从根本上降内存占用,别等OOM

你现在虽然用了pandas的chunksize分块读,但最后把所有读出来的分块都存在内存的列表里,本质还是要把全量数据塞到内存里,只是把一次读数据库的操作拆成了多次,内存峰值根本没降。
可以改下逻辑:每读完一个分块,就增量把数据写到本地的Parquet之类的列式文件里,不要把所有分块都攒在内存里,这样内存占用始终和单个分块的大小差不多,自然不会撑爆,也就不会触发OOM kill。

内容的提问来源于stack exchange,提问作者Conor

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 18:45:00