Celery任务中如何同时给subprocess发SIGINT并获取其输出？

• 核心需求：在Celery任务中启动子进程，需同时实现两个功能：
  1. 能够向子进程发送SIGINT信号
  2. 能够获取子进程的stdout和stderr输出
• 当前困境：此前尝试两种启动方式只能满足其一，后来在目标模块中添加signal.signal()处理后，两种需求均能部分实现，但存在输出不完整的问题。

1. 错误的启动方式：直接用字符串命令+shell=False是无效的——shell=False时，Popen会把整个字符串当作单个可执行文件路径，根本没正确启动目标Python模块，自然无法响应SIGINT。
2. 信号响应误解：列表形式启动的是Python解释器进程，而非bash。之前认为bash响应SIGINT是误解，真正需要让目标Python程序正确处理SIGINT信号。
3. 输出缓冲问题：子进程的stdout/stderr默认是块缓冲，进程未结束时缓冲区未刷新，导致父进程无法实时读取到完整输出。

1. 正确启动子进程（列表形式，规避shell=True风险） #

始终用列表传递命令参数，配合-u参数禁用Python的输出缓冲，确保输出能实时被读取：

import sys
from subprocess import Popen, PIPE

proc = Popen(
    [sys.executable, "-u", "-m", "path.to.module", myarg1, myarg2],
    stdin=sys.stdin,
    stdout=PIPE,
    stderr=PIPE,
    shell=False,
    text=True  # 直接读取字符串，无需手动解码
)

2. 确保目标模块正确响应SIGINT #

在path.to.module的代码中，显式处理SIGINT（或保留默认行为）：

import signal
import sys

def sigint_handler(signum, frame):
    # 添加自定义清理逻辑（如关闭文件、释放资源）
    print("收到SIGINT信号，正在退出...", file=sys.stderr)
    sys.exit(0)

# 注册信号处理函数
signal.signal(signal.SIGINT, sigint_handler)

# 原有业务逻辑代码...

如果不需要自定义处理，也可以不注册函数——Python默认会在收到SIGINT时抛出KeyboardInterrupt，只要程序未捕获并忽略该异常，就会正常退出。

3. 正确读取子进程输出 #

根据子进程运行时长选择读取方式：

实时读取（适用于长期运行的子进程） #

用线程分别读取stdout和stderr，避免阻塞主进程：

import threading

def stream_reader(stream, log_func):
    for line in iter(stream.readline, ''):
        log_func(line.strip())

# 启动线程读取输出
stdout_thread = threading.Thread(target=stream_reader, args=(proc.stdout, print))
stderr_thread = threading.Thread(target=stream_reader, args=(proc.stderr, lambda x: print(f"[ERROR] {x}")))
stdout_thread.start()
stderr_thread.start()

# 发送SIGINT信号示例
proc.send_signal(signal.SIGINT)

# 等待子进程结束及线程退出
proc.wait()
stdout_thread.join()
stderr_thread.join()

一次性读取（适用于短运行时的子进程） #

用communicate()一次性获取所有输出（会等待子进程结束）：

# 先发送SIGINT
proc.send_signal(signal.SIGINT)
# 读取输出并等待进程结束
stdout, stderr = proc.communicate()
print("标准输出:", stdout)
print("标准错误:", stderr)

4. 信号发送验证 #

确保发送的是SIGINT而非其他信号：直接调用proc.send_signal(signal.SIGINT)，proc.terminate()默认发送的是SIGTERM，不符合需求。

1. 必须用列表形式启动子进程，配合-u参数解决输出缓冲问题
2. 确保目标Python程序正确响应SIGINT（默认处理或自定义信号逻辑）
3. 用线程实时读取或communicate()一次性读取，保证输出完整获取

内容的提问来源于stack exchange，提问作者Jaime Salazar