如何在Python的concurrent.futures.ProcessPoolExecutor中共享全局变量？

这确实是Python多进程模型里的典型问题——进程间默认是完全隔离的内存空间，不像线程共享同一进程内存，所以ProcessPoolExecutor没法直接修改主进程的全局变量。不过有几种靠谱的方法能实现进程间的变量共享，我给你整理一下：

1. 使用multiprocessing.Value或Array（底层共享内存） #

这种方式是直接在进程间开辟共享内存区域，适合存储简单类型（整数、浮点数）或者同类型的数组，性能开销很小。需要注意的是，必须配合锁机制避免多个进程同时修改导致的竞态条件。

示例代码： #

import concurrent.futures
import multiprocessing

# 定义共享变量和锁
shared_counter = multiprocessing.Value('i', 0)  # 'i'表示整数类型
lock = multiprocessing.Lock()

def update_counter():
    global shared_counter, lock
    with lock:  # 加锁确保同一时间只有一个进程修改
        shared_counter.value += 1
        print(f"当前计数器值: {shared_counter.value}")

if __name__ == '__main__':
    with concurrent.futures.ProcessPoolExecutor() as executor:
        # 提交10个任务并行执行
        executor.map(update_counter, range(10))
    
    print(f"最终计数器值: {shared_counter.value}")

2. 使用multiprocessing.Manager()（支持复杂数据结构） #

如果需要共享字典、列表这类复杂数据结构，可以用Manager——它会启动一个专门的服务器进程来管理共享对象，其他进程通过代理访问。缺点是性能比直接共享内存稍差，因为涉及跨进程通信，但胜在灵活。

示例代码： #

import concurrent.futures
import multiprocessing

def update_shared_dict(shared_dict, key, value):
    with shared_dict.get_lock():  # Manager的对象自带锁方法
        shared_dict[key] = value
        print(f"已更新字典: {shared_dict}")

if __name__ == '__main__':
    with multiprocessing.Manager() as manager:
        shared_dict = manager.dict()  # 创建可共享的字典
        with concurrent.futures.ProcessPoolExecutor() as executor:
            # 提交多个更新任务
            futures = [
                executor.submit(update_shared_dict, shared_dict, f"key{i}", i)
                for i in range(5)
            ]
            # 等待所有任务完成
            concurrent.futures.wait(futures)
        
        print(f"最终共享字典: {shared_dict}")

关键注意事项 #

• 必须加锁：不管用哪种共享方式，只要多个进程同时读写共享变量，一定要用锁（Lock）来保护，否则会出现数据覆盖、不一致的问题。
• 性能权衡：Value/Array的性能优于Manager，如果只是简单数值或数组优先选前者；复杂结构才考虑Manager。
• 避免过度共享：进程间共享数据会增加复杂度，如果能通过任务返回结果、主进程汇总的方式实现需求（比如不需要实时共享，最后合并结果），那这种方式往往更简单可靠。比如：

  def task():
      # 计算后返回结果
      return 1
  
  if __name__ == '__main__':
      total = 0
      with concurrent.futures.ProcessPoolExecutor() as executor:
          results = executor.map(task, range(10))
          total = sum(results)
      print(f"最终总和: {total}")
  

  这种方式不需要共享变量，反而更符合多进程的设计思路。

内容的提问来源于stack exchange，提问作者Hiếu Ngô