WSL2中使用multiprocessing.Pool调用Faker重复生成同名问题

问题重现 #

在Python 3.9.2的multiprocessing.Pool中使用Faker 14.2.0生成名称时，出现索引唯一但多数名称重复的情况，即使添加multiprocessing.Lock也无法解决。该现象发生在WSL2的Debian 11和Ubuntu 20.04.5系统中，而REPL环境下可正常生成不同名称。

问题代码 #

import multiprocessing

from faker import Faker

fake = Faker()
lock = multiprocessing.Lock()

def print_name(index):
    lock.acquire()
    print(index, fake.name())
    lock.release()

if __name__ == '__main__':
    with multiprocessing.Pool() as pool:
        for i in range(10):
            pool.apply_async(print_name, args=(i, ))
        pool.close()
        pool.join()

实际输出 #

0 Jacob Hughes
5 Jacob Hughes
2 Jacob Hughes
3 Jacob Hughes
4 Jacob Hughes
1 Jacob Hughes
6 Jacob Hughes
8 Kristi Herrera
7 Jacob Hughes
9 Kristi Herrera

问题原因 #

• WSL2环境下Python多进程默认采用fork模式，子进程会完整复制主进程的内存状态，包括主进程中创建的fake实例内部的随机数生成器种子位置。
• 所有子进程启动时，fake实例的随机数生成器处于完全相同的初始状态，因此调用fake.name()会生成重复的序列。Lock仅能控制打印顺序，无法改变每个子进程内生成器的初始状态。

解决办法 #

方法1：在子进程函数内创建独立Faker实例 #

每个子进程单独初始化Faker实例，确保随机种子独立，避免状态复用。

import multiprocessing
from faker import Faker

def print_name(index):
    fake = Faker()
    print(index, fake.name())

if __name__ == '__main__':
    with multiprocessing.Pool() as pool:
        for i in range(10):
            pool.apply_async(print_name, args=(i, ))
        pool.close()
        pool.join()

方法2：通过进程池初始化器创建子进程专属实例 #

利用Pool的initializer参数，在每个子进程启动时初始化Faker实例，减少重复创建的开销。

import multiprocessing
from faker import Faker

fake = None

def init_worker():
    global fake
    fake = Faker()

def print_name(index):
    print(index, fake.name())

if __name__ == '__main__':
    with multiprocessing.Pool(initializer=init_worker) as pool:
        for i in range(10):
            pool.apply_async(print_name, args=(i, ))
        pool.close()
        pool.join()

方法3：手动为每个实例设置唯一随机种子 #

通过传入唯一标识（如索引）作为种子，强制每个Faker实例生成不同的序列。

import multiprocessing
from faker import Faker

def print_name(index):
    fake = Faker()
    fake.seed_instance(index)
    print(index, fake.name())

if __name__ == '__main__':
    with multiprocessing.Pool() as pool:
        for i in range(10):
            pool.apply_async(print_name, args=(i, ))
        pool.close()
        pool.join()

内容的提问来源于stack exchange，提问作者Nobody Special