如何为含复杂命令的Docker exec设置超时并终止子进程

我需要在Docker容器中执行CFD（计算流体动力学）仿真，通过外部Python脚本编排。计算耗时不定，必须在超时后终止。有两个难点：

• 多个命令用&&连接，所有命令的stdout、stderr要实时写入日志文件（不能等计算完成后再写入）；
• 其中mpirun会生成多个子进程，超时后需要递归终止所有相关子进程。

我尝试了以下代码，但timeout没按预期工作，foam_app的多个进程仍在运行：

inner_script = f"cartesianMesh && decomposePar && mpirun -np {c.num_proc} {foam_app} -parallel && reconstructPar"

f"""docker exec -w {c.container_case_dir_path} {docker_id} timeout {timeout_s}\
 bash -lc "{inner_script}" &> {c.container_log_file_path}) """

请问该如何正确实现？

核心要解决两个问题：让timeout能管控mpirun的所有子进程，同时保证日志实时输出。以下是可行的调整方案：

1. 优化timeout参数，管控整个进程组 #

GNU timeout默认只终止直接子进程，不会处理mpirun衍生的子进程。通过添加--foreground参数，让timeout直接关联整个脚本的进程组，同时指定终止信号和强制超时兜底：

inner_script = f"cartesianMesh && decomposePar && mpirun -np {c.num_proc} {foam_app} -parallel && reconstructPar"

# 调整后的Docker执行命令
docker_cmd = f"""docker exec -w {c.container_case_dir_path} {docker_id} \
timeout --foreground -s SIGTERM --kill-after=5 {timeout_s} \
bash -c "exec {inner_script}" &> {c.container_log_file_path}"""

这里的exec {inner_script}会让bash替换自身为脚本进程，避免额外的shell层级，确保timeout能追踪到mpirun及其子进程；--kill-after=5表示超时后先尝试用SIGTERM优雅终止，5秒后仍未结束则用SIGKILL强制杀死。

2. 手动管理进程组（兼容老旧环境） #

如果容器内的timeout不支持--foreground，可以通过bash的进程组特性手动管控：

inner_script = f"""
set -m
cartesianMesh && decomposePar && mpirun -np {c.num_proc} {foam_app} -parallel && reconstructPar
"""

# 用进程组绑定所有子进程，超时后批量终止
docker_cmd = f"""docker exec -w {c.container_case_dir_path} {docker_id} \
bash -c "({inner_script}) & PID=$!; trap 'kill -TERM -$PID; sleep 2; kill -KILL -$PID' INT TERM; wait $PID" \
&> {c.container_log_file_path}"""

set -m会让脚本内的进程以组形式运行，kill -TERM -$PID会向整个进程组发送终止信号，后续的kill -KILL确保残留进程被彻底清理。

3. 确保日志实时写入 #

若遇到日志延迟问题，可通过关闭命令的输出缓冲保证实时写入：

# 给每个命令添加stdbuf关闭缓冲
inner_script = f"stdbuf -o0 -e0 cartesianMesh && stdbuf -o0 -e0 decomposePar && stdbuf -o0 -e0 mpirun -np {c.num_proc} {foam_app} -parallel && stdbuf -o0 -e0 reconstructPar"

stdbuf -o0 -e0会强制关闭stdout和stderr的缓冲，让输出立即写入日志文件。

内容的提问来源于stack exchange，提问作者lighthouse