Linux下Python调用后台子进程如何等待其完成再执行后续操作？

核心问题 #

Linux下有一个计算程序，需通过Python包装脚本调用：

• 程序及依赖存于共享网络位置，因参数长度限制，必须先在当前目录创建符号链接才能运行
• 程序运行耗时久，需将输出重定向到日志文件并后台运行，以便终端可执行其他操作
• 当前代码中，若通过shell命令末尾加&实现后台，Python脚本会立即删除符号链接，导致后台运行的程序因依赖缺失失败；但前台运行时脚本会等待程序结束再删链接，可正常工作

问题根源 #

当使用shell=True且命令末尾加&时，shell进程仅负责启动目标程序到后台，随后立即退出。subprocess.run()/Popen.wait()等方法等待的是shell进程而非目标计算程序，因此脚本会提前执行删除链接的操作，此时计算程序仍在运行，依赖链接丢失导致失败。

解决方案 #

方法1：用subprocess原生处理重定向，避免shell后台 #

直接通过subprocess的参数处理输入输出重定向，不依赖shell的&，让Python等待目标程序完成后再删除链接。若需终端解放，可将整个Python脚本后台运行（python wrapper.py &）。

修改后的代码：

import subprocess
import os
from pathlib import Path

# 假设以下变量已提前定义
program_name = "program_name"
dependency1 = "dependency1"
dependency2 = "dependency2"
dependency3 = "dependency3"
path_to_program = Path("/path/to/shared/program")
current_directory = Path.cwd()
input_file = "input.txt"
output_file1 = "out1.txt"
output_file2 = "out2.txt"

# 创建符号链接
for file in [program_name, dependency1, dependency2, dependency3]:
    src = path_to_program / file
    dst = current_directory / file
    try:
        os.symlink(src, dst)
    except FileExistsError:
        pass

# 构建命令列表（shell=False模式需拆分参数）
cmd = [
    f"./{program_name}",  # 明确指向当前目录的符号链接
    "-i", input_file,
    "-o", output_file1,
    "-r", output_file2,
    "-w", dependency1,
    "-d", dependency2
]

# 处理重定向：stdin从/dev/null读取，stdout/stderr写入日志
with open("output.log", "w") as log_file:
    proc = subprocess.run(
        cmd,
        stdin=subprocess.DEVNULL,
        stdout=log_file,
        stderr=subprocess.STDOUT,  # 将stderr合并到日志
        shell=False
    )

# 程序完成后删除符号链接
for file in [program_name, dependency1, dependency2, dependency3]:
    os.unlink(current_directory / file)

方法2：修改shell命令，让shell等待后台进程完成 #

若坚持使用shell模式，可在命令末尾添加wait，让shell进程等待目标程序结束后再退出，确保Python脚本等待到程序完成后再删链接。

修改后的命令部分：

cmd = "program_name -i {inp} -o {out1} -r {out2} -w {dep1} -d {dep2} </dev/null >output.log 2>&1 & wait".format(
    inp=input_file,
    out1=output_file1,
    out2=output_file2,
    dep1=dependency1,
    dep2=dependency2
)

proc = subprocess.run(cmd, shell=True)

注意事项 #

• shell=False模式更安全，可避免shell注入风险，且无需处理shell语法的重定向/后台逻辑
• 使用符号链接时，明确指定./program_name确保调用的是当前目录的链接，而非系统PATH中的同名程序

内容的提问来源于stack exchange，提问作者Tara