谷歌云虚拟机使用multiprocessing/pandarallel遇fork兼容错误求助

这个错误我碰到过，本质是asyncio的事件循环策略和fork机制不兼容导致的——当你用multiprocessing（或依赖它的pandarallel）创建子进程时，子进程继承了父进程的事件循环配置，如果父进程用的是select这类不支持fork的策略，就会触发这个报错。

下面是几个可行的解决办法：

• 在子进程任务中重新设置事件循环策略
  在你的多进程任务函数开头，强制指定兼容fork的策略，比如epoll：

  import asyncio
  
  def set_compatible_event_loop():
      # 优先用epoll策略，不支持则 fallback到poll
      if hasattr(asyncio, 'EpollEventLoopPolicy'):
          asyncio.set_event_loop_policy(asyncio.EpollEventLoopPolicy())
      else:
          asyncio.set_event_loop_policy(asyncio.PollEventLoopPolicy())
  
  # 在并行任务函数开头调用
  def your_parallel_task(data):
      set_compatible_event_loop()
      # 你的任务逻辑...
  

• 通过环境变量全局指定策略
  可以在启动脚本前设置环境变量，或者在脚本开头直接配置：

  # 终端启动时设置
  export ASYNCIO_EVENT_LOOP_POLICY=asyncio.EpollEventLoopPolicy
  python your_script.py
  

  或者在Python脚本开头添加：

  import os
  os.environ['ASYNCIO_EVENT_LOOP_POLICY'] = 'asyncio.EpollEventLoopPolicy'
  

• 适配pandarallel的初始化流程
  如果是使用pandarallel触发的问题，在初始化工具前先设置好事件循环策略：

  import os
  from pandarallel import pandarallel
  
  os.environ['ASYNCIO_EVENT_LOOP_POLICY'] = 'asyncio.EpollEventLoopPolicy'
  pandarallel.initialize(nb_workers=4)
  
  # 后续调用parallel_apply等方法
  df.parallel_apply(your_parallel_task, axis=1)
  

另外要注意，谷歌云虚拟机的Linux环境通常默认支持epoll，Python3.7+版本的asyncio模块都能正常加载该策略，无需额外安装依赖。

内容的提问来源于stack exchange，提问作者s900n