使用pandarallel的parallel_apply时出现NameError找不到函数

核心问题根源 #

这是pandarallel多进程模式在Windows环境下的变量/函数序列化限制导致的：

• Windows的多进程采用spawn启动方式，会重新启动Python解释器，无法直接继承主进程的全局变量、自定义函数
• 服务器通常是Linux/macOS，采用fork方式，直接复制主进程内存空间，所以能正常访问全局资源

针对性解决方法 #

1. 自定义函数无法识别的解决办法 #

方法A：把函数放到可导入的模块里

将calc_transport函数单独写进一个.py文件（比如utils.py），然后在主脚本或Jupyter里导入：

from utils import calc_transport

pandarallel会自动处理模块级函数的序列化，子进程就能识别到。

方法B：初始化时显式注册函数

不想拆分模块的话，用pandarallel.initialize方法把需要传递的函数注册进去：

from pandarallel import pandarallel

# 注册自定义函数，同时指定进程数
pandarallel.initialize(nb_workers=4, use_memory_fs=False, objects=[calc_transport])

# 再执行parallel_apply调用
df_transport_hourly = df_db_transport.groupby(
    ['siteId', 'port', 'systemName', df_db_transport['startedAt'].dt.date, df_db_transport['startedAt'].dt.hour]
).parallel_apply(lambda x: calc_transport(x, 'h'))

2. axis参数报错的解决办法 #

GroupBy对象的parallel_apply逻辑和普通apply()不一样，不需要指定axis参数——它默认就是对每个分组的DataFrame/Series做处理，直接删掉axis参数即可。

3. 库导入/全局变量无法访问的解决办法 #

• 不要依赖主进程的全局导入，在自定义函数内部导入datetime、bson这类库
• 如果要传递全局变量，同样通过pandarallel.initialize()的objects参数注册，或者直接作为参数传入函数：

  # 示例：传递全局变量
  GLOBAL_THRESHOLD = 100
  
  pandarallel.initialize(objects=[calc_transport, GLOBAL_THRESHOLD])
  
  def calc_transport(x, freq):
      # 直接使用注册后的全局变量
      if x['value'].sum() > GLOBAL_THRESHOLD:
          ...
  

4. 额外验证步骤 #

• 确保本地和服务器的pandarallel版本一致：执行pip show pandarallel查看版本，统一后重试
• 用Jupyter的话，建议重启内核后重新运行所有代码，避免进程残留导致的异常

内容的提问来源于stack exchange，提问作者huhehu