Python Ray向Worker传递非平凡对象引发内存溢出问题咨询

这个问题本质是Ray序列化机制与操作系统写时复制（COW）机制叠加导致的，和nltk等第三方库本身的内存占用无关：

1. Ray默认使用cloudpickle做跨进程参数序列化，当你把绑定了第三方库引用的类/实例通过ray.put()存入对象存储时，序列化逻辑会把对象关联的模块上下文、闭包引用一并打包，而非仅存储对象自身的属性。每个Worker进程反序列化这类对象时，会独立执行一遍依赖模块的加载逻辑，这部分本身是每个Worker一份的固定开销，原本不会导致数据重复拷贝。
2. 当你同时传入大尺寸payload和这类带依赖的对象时，共享内存的只读映射会被破坏：对象存储里的payload原本是同节点所有Worker共享的同一块物理内存，不需要额外拷贝，但nltk这类带C扩展、静态资源加载逻辑的库，在反序列化触发加载时会修改进程内存页，操作系统会直接把这块共享内存标记为进程私有，每个Worker独立持有一份完整的payload拷贝，最终表现为内存占用随CPU核数线性增长，核数多了直接OOM。
   你测试的单例模式之所以生效，核心是绕开了带依赖对象的跨进程序列化链路，改为在Worker进程内部初始化对象，没有触发反序列化时的内存页修改，自然不会引发COW拷贝。

按改造成本从低到高排序：

• 方案1：Worker本地懒加载+单例缓存，优先用这个
  完全不要把依赖第三方库的处理对象通过ray.put()序列化传递，改成在Ray remote函数内部第一次调用时初始化对象，用进程内单例保证同一个Worker只初始化一次，彻底绕开序列化坑。
  参考实现：

  import nltk
  import ray
  
  # 进程内缓存，每个Worker独立持有，不会跨进程传递
  _LOCAL_CACHE = {}
  
  def get_dummy_processor():
      if "processor" not in _LOCAL_CACHE:
          # 所有重依赖初始化全放这里，每个Worker仅执行一次
          proc = DummyObject()
          # 可以提前加载nltk需要的语料、模型，避免第一次调用卡顿
          nltk.download("punkt", quiet=True)
          _LOCAL_CACHE["processor"] = proc
      return _LOCAL_CACHE["processor"]
  
  @ray.remote
  def dummy_fun(payload_ref):
      proc = get_dummy_processor()
      proc.do_something()
      # 执行业务处理逻辑
      return
  

  这种实现下，对象存储里的大payload始终以共享只读方式被所有Worker访问，不会触发COW拷贝，每个Worker仅承担一份依赖库的固定内存开销，内存不会随核数线性上涨。
• 方案2：自定义序列化规则，过滤不需要打包的依赖
  如果确实需要跨进程传递处理对象，可以通过cloudpickle的注册接口，标记nltk这类Worker环境已经预装的依赖不需要打包进序列化结果，反序列化时直接从运行环境导入，减少序列化流的冗余内容，降低反序列化时的内存页修改概率。
  配置方式：在ray.init()前执行

  import cloudpickle
  import nltk
  # 标记nltk为环境已有依赖，不参与序列化打包
  cloudpickle.register_pickle_by_value(nltk)
  

• 方案3：用Ray Actor封装带状态的处理逻辑
  把依赖第三方库的处理逻辑封装为常驻Ray Actor，每个Actor对应一个独立Worker进程，启动时初始化一次依赖就常驻内存，任务直接分发给Actor处理，不需要每次任务都序列化传递处理对象，从机制上避免重复序列化和COW问题。
  参考结构：

  @ray.remote
  class ProcessorActor:
      def __init__(self):
          # 仅初始化一次
          self.proc = DummyObject()
      
      def run(self, payload_ref):
          self.proc.do_something()
          # 处理payload
          return
  

  可以按CPU核数创建对应数量的Actor组成处理池，总内存开销完全固定：每个Actor一份处理器实例+全节点共享一份对象存储payload，不会出现线性拷贝。

• 任何绑定了C扩展、本地资源句柄（模型文件、数据库连接、语料加载实例）的对象，都不要通过Ray的参数传递链路跨进程传输，这类对象本身不支持跨进程序列化，强行传递一定会触发额外内存开销甚至序列化失败。
• 大于100KB的数据统一先调用ray.put()存入对象存储，再把返回的引用传给remote函数/Actor，不要直接传原始数据对象，避免重复序列化开销。
• 单节点部署场景下，可以在ray.init()时关闭非必要的对象副本配置enable_object_reconstruction_on_node_failure=False，根据机器内存合理设置object_store_memory大小，进一步降低内存冗余。

内容的提问来源于stack exchange，提问作者TomCV