Python多进程环境（Pool、Map）下计数器无法正常工作问题

当然可行，但普通的全局变量肯定行不通——因为Python多进程中每个子进程都会复制父进程的内存空间，所以每个进程手里的list_counter都是独立的副本，修改各自的副本根本不会影响到其他进程，更别说全局同步了。你之前直接传参数的方式没用，也是因为这个原因：参数传递本质上也是复制了一份值给子进程，并非共享内存。

下面给你两种靠谱的实现方案，都是Python标准库自带的，不用额外装依赖：

方案1：用multiprocessing.Value（轻量级首选） #

Value是多进程模块专门用来共享单个值的工具，它把数据存在共享内存里，所有进程访问的都是同一个实例。而且它默认自带锁，能避免多个进程同时修改导致的计数错误（也就是竞态条件）。

给你写个完整的示例代码：

import multiprocessing

def scraper(list_item, shared_counter):
    # 这里替换成你的爬虫业务逻辑
    print(f"正在处理: {list_item}")
    
    # 用锁包裹修改操作，确保原子性
    with shared_counter.get_lock():
        shared_counter.value += 1

if __name__ == "__main__":
    list1 = ["item_1", "item_2", "item_3", "item_4"]
    # 创建共享整数计数器，初始值为0，'i'代表整数类型
    list_counter = multiprocessing.Value('i', 0)
    
    processes = []
    for item in list1:
        # 把共享计数器作为参数传给子进程
        p = multiprocessing.Process(target=scraper, args=(item, list_counter))
        processes.append(p)
        p.start()
    
    # 等待所有子进程执行完毕
    for p in processes:
        p.join()
    
    print(f"总处理完成数量: {list_counter.value}")

关键说明：

• 'i'是类型码，代表整数，其他常用的还有'd'（双精度浮点数）、'b'（布尔值）；
• 必须用get_lock()获取锁，再修改value——如果不加锁，多个进程同时读取、修改计数器，可能会出现“两个进程都读到当前值是2，都加1后变成3，实际应该是4”的错误。

方案2：用multiprocessing.Manager（支持复杂共享结构） #

如果你除了计数器，还需要共享列表、字典这类复杂数据结构，Manager会更合适。它会启动一个单独的管理进程，其他进程通过代理访问共享对象，同样自带同步机制。

示例代码如下：

import multiprocessing

def scraper(list_item, shared_counter):
    print(f"正在处理: {list_item}")
    # Manager的Value对象自带锁，直接修改即可
    shared_counter.value += 1

if __name__ == "__main__":
    list1 = ["item_1", "item_2", "item_3", "item_4"]
    
    # 用上下文管理器启动Manager，自动管理资源
    with multiprocessing.Manager() as manager:
        list_counter = manager.Value('i', 0)
        
        processes = []
        for item in list1:
            p = multiprocessing.Process(target=scraper, args=(item, list_counter))
            processes.append(p)
            p.start()
        
        for p in processes:
            p.join()
        
        print(f"总处理完成数量: {list_counter.value}")

注意：Manager的开销比Value略大，因为多了一个管理进程，所以如果只是需要单个计数器，优先选方案1。

避坑提醒 #

• 绝对不要用普通全局变量：不管你在父进程里怎么定义全局变量，子进程都会复制一份自己的副本，修改的只是自己手里的那份，完全不会同步到其他进程；
• 锁不能忘：哪怕是共享对象，多进程同时修改也会出问题，必须保证修改操作是原子性的（也就是要么全做完，要么全没做），锁就是干这个的。

内容的提问来源于stack exchange，提问作者Chris Hayes