如何使用multiprocess.Pool结合apply函数处理DataFrame列？代码执行结果为空问题排查

你的代码有几个关键问题导致结果为空，我来逐一拆解并给出正确实现：

错误原因 #

• 任务传递逻辑错误：你用pool.apply_async(lambdafunc, (df['cols'], ), ...)把整个Series作为单个参数传给了lambdafunc，但你的test_upper是处理单个字符串的函数——这不仅不会遍历每个元素，还会导致函数执行出错（Series没有upper()方法），回调函数自然收不到有效结果。
• 多进程内存隔离限制：list_results是主进程中的Series，子进程回调函数里的append操作不会影响主进程的变量。因为多进程之间内存是完全独立的，子进程里的list_results只是主进程变量的副本，修改不会同步回去。
• pd.Series.append的特性误用：这个方法不是原地修改对象，而是返回一个新的Series，你没有把返回值重新赋值，就算在单进程场景下这样写也会得到空结果。

正确实现方式 #

我们可以用Pool.map()来遍历df['cols']的每个元素，它会自动把可迭代对象的每个元素分配给子进程处理，最后返回完整结果列表，再转成Series即可：

import pandas as pd
import multiprocessing as mp

def test_upper(d):
    return d.upper()

def mainfunc():
    df = pd.read_csv("file.csv", sep='\t', encoding='utf-8')
    print(df.head())
    
    # 用with语句自动管理进程池的关闭与回收
    with mp.Pool(processes=4) as pool:
        # 并行处理Series中的每个元素
        results = pool.map(test_upper, df['cols'])
    
    # 将结果转为Series并赋值给新列
    df['upper_cols'] = pd.Series(results)
    print(df.head())

if __name__ == "__main__":
    mainfunc()

补充说明 #

• 加上if __name__ == "__main__":是Windows系统下多进程的强制要求（防止子进程重复执行主模块代码），Linux/macOS虽不强制，但加上更规范。
• 如果你的数据量极大，pool.imap()是更高效的选择——它会分批返回结果，不需要等待所有任务完成再拿到全部结果，能减少内存占用。

内容的提问来源于stack exchange，提问作者justcode