多进程环境下修改DataFrame不生效的问题求助

你的问题出在multiprocessing.Manager的代理对象机制上：

• Manager.Namespace里的DataFrame是代理对象，仅当你对ns.df_one进行重新赋值时，才会触发进程间的状态同步。
• 原地修改DataFrame（比如do_some_magic里的添加行操作）属于对象内部的变更，不会被代理感知，主进程自然看不到修改后的结果。

解决方法 #

方法一：修改后重新赋值给Namespace对象 #

在子进程中修改完DataFrame后，把修改后的对象重新赋值给ns的属性，强制触发同步：

def search_function_one(ns):
    df = ns.df_one.copy()  # 先复制一份避免代理对象的限制
    do_some_magic(df)
    ns.df_one = df  # 重新赋值，触发进程间同步
    pprint(f'df from ns: {ns.df_one}')  # 此时能看到修改后的数据

方法二：用Manager存储行数据，主进程合并 #

避免直接在进程间传递DataFrame，改用Manager.list存储每行数据，最后在主进程组装成DataFrame：

manager = Manager()
rows_one = manager.list()
rows_two = manager.list()

p_search_one = Process(target=search_function_one, args=(rows_one,))
p_search_one.start()
p_search_two = Process(target=search_function_two, args=(rows_two,))
p_search_two.start()

p_search_one.join()
p_search_two.join()

# 主进程合并数据
df_one = pd.DataFrame(rows_one, columns=data_format.init().columns)
df_two = pd.DataFrame(rows_two, columns=data_format.init().columns)

子进程函数修改为：

def search_function_one(rows):
    # 生成数据行，添加到rows列表
    new_rows = generate_rows()  # 替换成你的逻辑
    rows.extend(new_rows)

方法三：使用Pool返回DataFrame片段（更简洁） #

如果任务可以拆分，用Pool的map/imap方法让子进程返回生成的DataFrame片段，主进程直接concat合并：

from multiprocessing import Pool

def search_task():
    df = data_format.init()
    do_some_magic(df)
    return df

if __name__ == '__main__':
    with Pool(2) as pool:
        results = pool.map(search_task, [None, None])  # 传入2个任务参数
    df_one, df_two = results
    pprint(df_one)  # 正常显示修改后的数据

内容的提问来源于stack exchange，提问作者user19858277