Python Daemon上下文使用ProcessPoolExecutor时任务卡住问题

你遇到的这个问题，核心原因是**daemon.DaemonContext的环境与ProcessPoolExecutor的fork机制不兼容**。

当你进入DaemonContext后，当前进程会变成一个守护进程：它会脱离原会话组、关闭非必要的文件描述符、重置信号处理等。而ProcessPoolExecutor默认使用fork方式创建子进程，子进程会完全继承父进程（也就是守护进程）的环境：

• 如果父进程关闭了stdout/stderr等描述符，子进程里的输出操作（比如你的print）会因为写入无效描述符而卡住；
• 守护进程的会话组属性被继承后，子进程可能会被系统信号意外终止，或者无法正常完成初始化；
• 某些系统资源的隔离设置，也会导致子进程无法正常执行任务。

而ThreadPoolExecutor用的是线程，共享同一个进程空间，不会涉及fork新进程，所以不受DaemonContext的影响，能正常工作。

这里提供两种可行的解决思路，你可以根据自己的场景选择：

方案1：保留必要的文件描述符给子进程 #

修改DaemonContext的初始化参数，通过files_preserve保留stdout、stderr等关键描述符，确保子进程能正常进行IO操作：

import concurrent.futures
import time
import daemon
import sys

class Daemon():
    def __init__(self):
        print("init")
        # 保留stdout和stderr的文件描述符
        self.context = daemon.DaemonContext(
            stdout=sys.stdout,
            stderr=sys.stderr,
            files_preserve=[sys.stdout.fileno(), sys.stderr.fileno()]
        )
        with self.context:
            self.__run()

    def task(self, n):
        start = time.time()
        time.sleep(n)
        duration = time.time() - start
        print(f"Task {n} completed in {duration:.2f}s")
        return n, duration

    def __run(self):
        with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
            futures = [executor.submit(self.task, n) for n in [1, 2, 3]]
            for future in concurrent.futures.as_completed(futures):
                try:
                    n, duration = future.result()
                    print(f"Received result: Task {n} took {duration:.2f}s")
                except Exception as e:
                    print(f"Task failed: {e}")

if __name__ == "__main__":
    Daemon()

方案2：使用spawn启动子进程 #

改用spawn方式创建子进程（这种方式会重新启动Python解释器，而非直接fork父进程），避免继承守护进程的异常环境。需要注意的是，spawn的启动开销比fork大，但兼容性更好：

import concurrent.futures
import time
import daemon
import sys
import multiprocessing

class Daemon():
    def __init__(self):
        print("init")
        self.context = daemon.DaemonContext( stdout = sys.stdout )
        with self.context:
            self.__run()

    def task(self, n):
        start = time.time()
        time.sleep(n)
        duration = time.time() - start
        print(f"Task {n} completed in {duration:.2f}s")
        return n, duration

    def __run(self):
        # 设置启动方式为spawn
        multiprocessing.set_start_method('spawn')
        with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
            futures = [executor.submit(self.task, n) for n in [1, 2, 3]]
            for future in concurrent.futures.as_completed(futures):
                try:
                    n, duration = future.result()
                    print(f"Received result: Task {n} took {duration:.2f}s")
                except Exception as e:
                    print(f"Task failed: {e}")

if __name__ == "__main__":
    Daemon()

• 如果你的任务不需要IO输出，可以尝试关闭子进程的stdout/stderr，比如在task函数开头重定向到/dev/null，也能避免卡住；
• 守护进程的资源隔离特性（比如文件权限、环境变量）可能依然会影响子进程，需要确保子进程所需的资源都能正常访问；
• 尽量避免在守护进程中创建大量子进程，否则可能会引发系统资源管理的问题。

内容的提问来源于stack exchange，提问作者keo