Python subprocess执行Unix命令被终止，疑内存问题如何解决？

你的subprocess调用逻辑错误：在shell=False（默认值）的情况下，你把管道符号|和后续的grep命令作为zcat的参数传递了，而非让shell解析管道的数据流转发逻辑。终端运行时shell会自动处理管道，但Python中这么做会导致zcat尝试打开名为|、grep的无效文件，触发异常后内存占用飙升，最终被系统OOM Killer终止。

提供三种可行方案，按易用性和安全性排序：

方案1：启用shell解析（简单直接） #

将整段命令作为字符串传递，设置shell=True，让shell处理管道逻辑，和终端行为完全一致：

import subprocess

cmd = 'zcat /home/user/input_data/sample_ID/file_name.gvcf.gz | grep -w "chr7" | grep -w "87509329"'
# 使用check_output更简洁，自动处理输出捕获和错误抛出
output = subprocess.check_output(cmd, shell=True).decode()
print(output)

注意：如果命令中包含用户输入，需警惕shell注入风险，此时不建议用此方案。

方案2：多进程管道连接（安全无注入风险） #

手动创建多个子进程，通过Python连接它们的输入输出，避免依赖shell：

import subprocess

# 启动zcat进程，输出到管道
zcat_proc = subprocess.Popen(
    ['zcat', '/home/user/input_data/sample_ID/file_name.gvcf.gz'],
    stdout=subprocess.PIPE
)
# 第一个grep过滤chr7，输入来自zcat的输出
grep1_proc = subprocess.Popen(
    ['grep', '-w', 'chr7'],
    stdin=zcat_proc.stdout,
    stdout=subprocess.PIPE
)
zcat_proc.stdout.close()  # 关闭zcat的stdout，让其在grep退出时收到SIGPIPE

# 第二个grep过滤位置，输入来自第一个grep的输出
grep2_proc = subprocess.Popen(
    ['grep', '-w', '87509329'],
    stdin=grep1_proc.stdout,
    stdout=subprocess.PIPE
)
grep1_proc.stdout.close()

# 获取最终输出
output = grep2_proc.communicate()[0].decode()
print(output)

方案3：单grep匹配优化（更高效省内存） #

用单个grep同时匹配两个关键词，减少进程数量和管道开销，进一步降低内存占用：

import subprocess

# 使用扩展正则，匹配同一行同时存在chr7和87509329的情况
cmd = 'zcat /home/user/input_data/sample_ID/file_name.gvcf.gz | grep -w -E "chr7.*87509329|87509329.*chr7"'
output = subprocess.check_output(cmd, shell=True).decode()
print(output)

如果要避免shell，同样可以用多进程方式，只需要zcat+单个grep进程即可。

内容的提问来源于stack exchange，提问作者Joshua Jebaraj