Windows 10环境下Python多进程块生成器无法通过对象ID从子进程获取对象的问题求助

首先得明确核心问题：在Windows系统下，multiprocessing默认使用spawn方式创建子进程——每个子进程都会重新加载你的代码，拥有完全独立的内存空间。你传递的对象ID（id(world)）只是父进程里的内存地址，到了子进程里这个地址对应的完全是另一个东西（甚至是无效内存），所以用_ctypes.PyObj_FromPtr根本无法获取到目标对象，甚至会引发程序崩溃。

正确的解决思路 #

要在多进程间共享数据或操作对象，你得用Python多进程模块提供的进程间通信（IPC）机制，常见的方案有：

• 使用multiprocessing.Manager创建可跨进程共享的对象
• 用队列（Queue）传递任务，让子进程处理具体任务而非直接操作父进程对象
• 对自定义对象进行序列化（比如pickle）后传递（需要确保你的pycraft.world类支持序列化）

针对你的代码的修改示例 #

这里推荐用队列传递任务的方案，更符合多进程任务分发的逻辑，也能避免共享对象的锁问题：

import classes as pycraft
import multiprocessing

def start_generation(task_queue):
    try:
        # 子进程可以按需创建自己的world实例，或从队列接收必要数据
        while True:
            chunk_id = task_queue.get()
            # 这里替换为你的实际生成逻辑
            print(f"Generating chunk {chunk_id}", flush=True)
            # 如果需要操作world，可在子进程初始化时创建，或使用Manager共享的world对象
            # world.all_chunks[chunk_id].generate()
    except Exception as e:
        print(f'Error in world generation process. \n{e}', flush=True)

if __name__ == '__main__':
    world = pycraft.world()
    # 创建进程间共享的任务队列
    task_queue = multiprocessing.Queue()
    
    # 启动生成子进程
    world_gen_process = multiprocessing.Process(target=start_generation, args=(task_queue,))
    world_gen_process.start()
    
    # 父进程往队列中发送需要生成的chunk ID
    for chunk_id in world._queue:
        task_queue.put(chunk_id)
    
    # 若需要等待进程结束，可取消注释下面的代码
    # world_gen_process.join()

如果你的pycraft.world类必须在多进程间共享状态，可以用Manager创建可共享对象（需要确保类支持被Manager包装）：

if __name__ == '__main__':
    from multiprocessing import Manager
    manager = Manager()
    # 创建可跨进程共享的world对象容器
    shared_world = manager.Namespace()
    shared_world.model = pycraft.world()
    
    world_gen_process = multiprocessing.Process(target=start_generation, args=(shared_world,))
    world_gen_process.start()

关键注意事项 #

• 绝对不要直接传递内存地址（对象ID）跨进程，不同进程的内存空间完全隔离，地址无意义
• 自定义类如果要被Manager包装或序列化，需要确保它支持pickle（比如没有无法序列化的属性，或自定义__getstate__/__setstate__方法）
• 多进程共享对象会存在锁竞争问题，要注意处理进程安全，避免数据冲突

内容的提问来源于stack exchange，提问作者user15922830