R语言并行化运行时是否会复制父进程中的所有数据？

首先明确：在多数R并行的默认实现中，确实会出现父进程中不需要的内存内容被复制到子进程的情况，具体机制和并行底层实现方式直接相关。

两类主流并行实现的内存复制逻辑 #

1. 基于fork的并行（对应doMC、parallel::mclapply等Linux/macOS下的实现） #

• 这类实现调用操作系统的fork接口创建子进程，初始状态下子进程不会真的复制父进程的内存，而是共享父进程的内存页，仅当某一页的内容被修改时才会触发复制，也就是常说的写时复制（COW）机制。
• 但R的垃圾回收机制会破坏写时复制的效果：R会为每个内存对象维护引用计数（NAMED字段），哪怕子进程仅读取父进程的对象，垃圾回收运行时也会修改该对象的引用计数信息，这一操作属于对内存页的写入，会触发该页的写时复制。如果父进程持有多GB数据，哪怕子进程完全不使用这些数据，只要垃圾回收触发，最终会逐步把父进程的所有内存页都复制到子进程中，总内存占用会达到父进程内存大小乘以进程数的量级，很容易突破TB级阈值。

2. 基于PSOCK集群的并行（对应doParallel默认跨平台实现、parallel::makePSOCKcluster等） #

• 这类实现会创建完全独立的R子进程，初始状态下子进程内存和父进程完全隔离，不会默认继承父进程的内存内容。
• 内存超量的触发通常和变量导出逻辑有关：如果并行执行的函数是在包含大量大对象的父环境中定义的，函数的闭包会携带完整的父环境信息，框架会把整个闭包环境传输到每个子进程中；另外foreach等高层接口如果没有明确指定.export参数限制导出变量范围，会自动查找所有函数可能用到的变量，连带同环境下的无关大对象一起导出到所有子进程，最终也会出现大量非必要数据被复制到子进程的情况。

非必要内存复制的规避核心逻辑 #

• 针对fork类并行：并行启动前清理父进程环境中所有无关的大对象，降低可被复制的内存基数；也可通过调整子进程的垃圾回收触发频率，减少写时复制的触发概率。
• 针对PSOCK类并行：严格限制并行函数的闭包环境，明确指定需要导出的变量范围，避免无关大对象被传输到子进程。
• 所有并行场景下都需要注意：如果所有任务的返回结果没有分批处理、而是全部累积在父进程内存中，也会叠加产生极高的内存占用，这和子进程的内存复制无关，属于结果累积导致的内存超限。

内容的提问来源于stack exchange，提问作者user11130854