Python异步并行生成器实现：突破GIL限制的并行数据生成

你的核心需求是绕过GIL实现真正的并行，同时让下一批数据的生成在当前批处理时就启动——这是典型的生产者-消费者模型，用Python原生的multiprocessing模块就能优雅解决，完全不需要第三方依赖。

下面是针对你示例代码的改造版本，直接实现你要的效果：

import multiprocessing

def producer(queue, num_items):
    """在独立进程中生成数据的生产者函数"""
    for i in range(num_items):
        print("I'm working asynchronously now! 🎉")
        # 模拟耗时的数据生成/预处理
        i = 0
        while i < 1e8:
            i += 1
        # 把生成好的数据放到进程安全的队列里
        queue.put("Hi")
    # 发送终止信号告诉消费者没有更多数据了
    queue.put(None)

def parallel_generator(num_items):
    """封装成类似普通生成器的接口，降低调用复杂度"""
    # 创建队列，设置maxsize=1确保生产者生成完一个就立刻启动下一个
    queue = multiprocessing.Queue(maxsize=1)
    # 启动独立的生产者进程
    proc = multiprocessing.Process(target=producer, args=(queue, num_items))
    proc.start()
    
    try:
        while True:
            item = queue.get()
            if item is None:
                break
            yield item
    finally:
        # 确保生产者进程正常退出，避免僵尸进程
        proc.join()

# 测试调用
if __name__ == "__main__":
    gen = parallel_generator(5)
    for w in gen:
        print(w)
        # 模拟主进程的耗时处理逻辑
        i = 0
        while i < 1e8:
            i += 1

方案核心优势： #

• 真正并行：生产者运行在独立进程中，完全不受GIL限制，和主进程的处理任务同时执行，彻底解决PEP525异步生成器仅能并发的问题。
• 自动预取：队列maxsize=1的设置，让生产者在你拿到当前数据后，立刻开始生成下一批——当主进程在处理"Hi"时，后台已经在跑下一轮的耗时计算了。
• 接口友好：parallel_generator封装了所有多进程细节，对外暴露的是和普通生成器完全一致的迭代接口，调用方式几乎和你原来的同步代码一样。

额外优化建议： #

• 如果你的数据生成是IO密集型（比如读文件、调用API），可以考虑用concurrent.futures.ThreadPoolExecutor替代多进程，开销更小；但CPU密集型场景必须用多进程才能绕过GIL。
• 可以根据内存情况调整队列maxsize，比如设为2或3，让生产者提前生成更多数据减少等待，但不要过大避免占用过多内存。
• 若需要传递复杂自定义对象，确保对象支持pickle序列化（Python大部分内置类型和自定义类都支持），如果不行可以用multiprocessing.Manager创建队列，序列化兼容性更好。

内容的提问来源于stack exchange，提问作者Smarty77