如何在Python中超时时杀死子进程及其所有后代进程？

利用Unix系统的**进程组（Process Group）**特性：当一个进程成为进程组组长后，它启动的所有子进程会默认加入该组。通过向整个进程组发送信号，可以一次性杀死组长及其所有后代进程，无需递归枚举子进程。这种方式完全依赖Python标准库和系统原生特性，不需要额外PyPI依赖。

场景1：无需使用shell（直接执行单个命令） #

如果命令可以拆分为参数列表（无需shell处理环境变量或多命令串联），直接启动进程并设置进程组：

import subprocess
import os
import signal

def run_command_with_timeout(cmd_args, timeout):
    """
    执行单个命令，超时后杀死进程及其所有后代
    :param cmd_args: 命令参数列表，例如 ["command", "--foo", "bar", "--baz", "42"]
    :param timeout: 超时时间（秒）
    :return: (stdout, stderr, returncode)
    """
    with subprocess.Popen(
        cmd_args,
        shell=False,
        preexec_fn=lambda: os.setpgid(0, 0),  # 创建以当前进程为组长的新进程组
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True  # 若需要字符串输出，否则返回字节流
    ) as process:
        try:
            stdout, stderr = process.communicate(timeout=timeout)
            return stdout, stderr, process.returncode
        except subprocess.TimeoutExpired:
            # 先尝试优雅终止，再强制杀死
            os.killpg(process.pid, signal.SIGTERM)
            try:
                process.wait(timeout=2)
            except subprocess.TimeoutExpired:
                os.killpg(process.pid, signal.SIGKILL)
                process.wait()
            raise

场景2：必须使用shell（多命令串联/环境变量设置） #

如果命令需要shell解析（比如包含export、分号分隔的多命令），只需在启动shell时设置进程组，shell会将其所有子进程加入同一组：

import subprocess
import os
import signal

def run_shell_cmd_with_timeout(cmdline, timeout):
    """
    执行shell命令行，超时后杀死shell及其所有子进程
    :param cmdline: shell命令字符串，例如 "export PYTHONPATH=$PYTHONPATH:/path/to/libs; command --foo bar"
    :param timeout: 超时时间（秒）
    :return: (stdout, stderr, returncode)
    """
    with subprocess.Popen(
        cmdline,
        shell=True,
        preexec_fn=lambda: os.setpgid(0, 0),  # 让shell成为进程组组长
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True
    ) as process:
        try:
            stdout, stderr = process.communicate(timeout=timeout)
            return stdout, stderr, process.returncode
        except subprocess.TimeoutExpired:
            # 先优雅终止，再强制杀死整个进程组
            os.killpg(process.pid, signal.SIGTERM)
            try:
                process.wait(timeout=2)
            except subprocess.TimeoutExpired:
                os.killpg(process.pid, signal.SIGKILL)
                process.wait()
            raise

关键细节说明 #

1. os.setpgid(0, 0)的作用：
   • 在子进程启动前执行，将当前进程的进程组ID（PGID）设置为自身PID，创建一个新的进程组。
   • 兼容Linux（Debian系）和FreeBSD：两个系统均支持该调用，行为一致。
2. 进程组信号传递：
   • os.killpg(process.pid, signal)会向PGID等于process.pid的所有进程发送指定信号，包括组长及其所有后代。
3. 避免僵尸进程：
   • 杀死进程组后调用process.wait()，确保父进程回收子进程的PID，避免僵尸进程残留。
4. 优雅终止 vs 强制杀死：
   • 先发送SIGTERM让进程有机会清理资源，超时未退出再发送SIGKILL强制终止，这是更友好的做法。

兼容性验证 #

• Linux（Debian/Ubuntu）：完全支持os.setpgid和os.killpg，进程组行为符合预期。
• FreeBSD：原生支持上述系统调用，无需额外配置。

内容的提问来源于stack exchange，提问作者user149408