为何Python中os.scandir的DirEntry在multiprocessing Pool中无法正常传递？

你遇到的问题核心在于**os.scandir()返回的DirEntry对象是不可被Python的pickle序列化的**，而多进程（multiprocessing.Pool）和线程池（ThreadPool）的参数传递机制完全不同：

线程池 vs 进程池的参数传递差异 #

• ThreadPool：所有线程共享同一个父进程的内存空间，传递DirEntry本质上是传递对象的内存引用，不需要任何序列化操作，所以可以直接正常使用。
• multiprocessing.Pool：每个子进程都有独立的内存空间，参数必须先通过pickle序列化，传递到子进程后再反序列化。而DirEntry是一个轻量级对象，内部绑定了系统级的文件句柄/资源引用，pickle无法处理这种对象的序列化，导致参数传递失败。

为什么错误会被静默忽略？ #

你用了apply_async方法，这个方法默认不会主动抛出异常——如果序列化失败，子进程根本无法接收到任务，自然不会执行工作函数，但父进程不会收到任何报错提示，只会继续执行到join()然后结束。

如果想验证这个错误，可以尝试获取apply_async返回的AsyncResult对象的结果：

result = pool.apply_async(worker, (entry,))
print(result.get())  # 这里会直接抛出 pickle.PicklingError

或者给apply_async添加错误回调：

def on_error(e):
    print(f"Task failed with error: {str(e)}")

pool.apply_async(worker, (entry,), error_callback=on_error)

这样就能看到明确的序列化失败提示了。

解决方案：传递可序列化的参数 #

不要直接传递DirEntry对象，而是提取它的可序列化属性传递给工作函数，最常用的是文件路径：

from multiprocessing import Pool
import os
pool_size = 3

def worker(file_path):
    # 如果需要文件的元信息，可以在工作函数内重新获取
    with os.scandir(file_path) as it:
        entry = next(it)
        print(f"Processing {entry.name}: Did some useful stuff!")

pool = Pool(pool_size)
for entry in os.scandir("Samples/"):
    if entry.is_file():
        # 传递路径字符串，而非DirEntry对象
        pool.apply_async(worker, (entry.path,))

pool.close()
pool.join()
print("Finished multiprocessing task.")

如果需要提前获取文件的元数据（比如大小、修改时间），可以直接传递entry.stat()的结果（它返回的os.stat_result是可序列化的）：

pool.apply_async(worker, (entry.path, entry.stat()))

这样修改后，多进程池就能正常执行工作函数了。

内容的提问来源于stack exchange，提问作者Nirusu