Linux 3.10下如何配置进程RSS值？求限制Python进程RSS至5GB的方法

嘿，这个问题我之前做Python+C++混合项目时也碰到过，太懂这种内存飙升的头疼了！先给你明确答案：完全可以通过配置进程RSS限制来控制内存使用，但结合你遇到的fork导致内存“翻倍”的场景，单纯限制RSS还不够，得配合调整子进程的创建方式从根源减少内存压力。下面具体说：

一、如何把Python进程RSS限制在5GB #

有两种简单可行的方式：

1. 启动脚本时用系统命令直接限制 #

用prlimit命令在启动Python脚本时就给它设好RSS上限：

prlimit --rss=5G python your_script.py

这个命令会把该Python进程及其所有子进程的RSS牢牢锁在5GB以内，一旦进程尝试占用超过这个值的内存，要么触发MemoryError，要么被系统的OOM Killer直接终止。

2. 在Python代码里动态设置限制 #

如果需要在脚本里灵活控制，用Python内置的resource模块就行，在脚本开头加这段代码：

import resource

# 把RSS上限设为5GB（单位是字节，5*1024*1024*1024）
resource.setrlimit(resource.RLIMIT_RSS, (5 * 1024**3, 5 * 1024**3))

这样当前进程和后续创建的子进程都会受到这个限制。

二、解决fork导致的内存“翻倍”问题 #

你提到的fork后内存翻倍，其实不是真的立刻复制了两倍内存——这是Linux内核**写时复制（Copy-On-Write, COW）**机制的表象：fork的时候内核不会真的拷贝父进程的全部内存，而是让父子进程共享内存页，只有当某一方修改内存页时才会实际复制。但如果父进程本身已经占了接近5GB内存，fork后系统会预留足够的内存空间（哪怕没真用），这很容易导致系统内存压力飙升，甚至触发OOM。

要解决这个问题，更有效的是避免让子进程继承父进程的大内存空间，试试这几个方法：

1. 用subprocess的spawn启动模式（Python 3.4+） #

Unix系统上subprocess默认用fork模式，你可以指定start_new_session=True或者直接用spawn模式，这样子进程会从全新的地址空间启动，根本不会继承父进程的内存：

import subprocess

# 用spawn模式启动子进程，彻底避开父进程内存继承
subprocess.run(["your_cpp_executable"], start_new_session=True)

注：spawn模式启动速度会比fork稍慢，但能从根源解决内存继承的问题。

2. 每次fork前清理父进程内存 #

如果你的Python进程在迭代中积累了大量内存（比如缓存的大对象、没用的变量），可以在每次启动子进程前先做个内存清理：

import gc

# 删掉没用的大对象，强制触发垃圾回收
del large_cached_object
gc.collect()

# 再启动子进程
subprocess.run(["your_cpp_executable"])

这样fork时父进程的内存占用会降低很多，就算触发COW，需要复制的内存页也会少很多。

3. 用cgroups做更精细的内存控制 #

如果单纯的RSS限制不够严格，还可以用Linux的cgroups来给进程组设置内存上限，它能更精准地控制内存使用，甚至限制进程的swap使用，避免内存溢出到磁盘。

三、注意事项 #

• 单纯设RSS限制可能会导致进程在内存接近上限时被突然终止，所以最好结合内存清理和子进程启动模式优化，尽量别触发限制。
• 有些Linux发行版对RLIMIT_RSS的限制是“软限制”，系统只会给提示，不会强制阻止内存分配，这种情况下用cgroups会更靠谱。

内容的提问来源于stack exchange，提问作者pg2455