如何通过内存变量而非磁盘文件传递Bash命令的输入输出参数

目标命令通过C++ ofstream 打开指定路径写结果，只要给它一个指向内存存储、而非真实磁盘块的合法文件路径，就能完全避免落盘，实现全内存的变量式交互，不需要修改原命令的参数逻辑。

Bash 环境下的实现方法 #

你已经掌握的输入侧进程替换逻辑可以完全保留，输出侧只需要用双向打开的文件描述符路径替代真实输出文件路径即可，不需要生成实际存储文件：

• 首先用系统提供的/dev/fd虚拟文件系统，创建一个双向打开的管道文件描述符，避免ofstream打开单向写管道时出现的权限错误、永久阻塞问题。
• 把这个文件描述符对应的/dev/fd/xx路径作为-o参数传给命令，同时从管道的读取端把内容存入目标变量即可。

参考命令写法：

# 提前定义好输入变量INPUT_VARIABLE
exec 3<><(:);  # 创建一个双向打开的fd 3，绑定到空进程的管道
./command -i <(printf '%s' "$INPUT_VARIABLE") -o /dev/fd/3
# 从fd 3读取所有写入的内容，存入OUTPUT_VARIABLE
read -t 2 -u 3 OUTPUT_VARIABLE
exec 3<&-  # 用完关闭fd释放资源

Python 环境下的实现方法 #

Python的subprocess确实没有直接封装这类场景，但完全可以复用Bash环境的实现逻辑，通过原生os模块完成全流程，不需要安装第三方库、不需要落盘：

• 用os.pipe()创建两组无名管道，分别对应输入侧的文件路径、输出侧的文件路径。
• 直接通过Linux系统内置的/dev/fd/<文件描述符编号>路径，把管道两端伪装成真实文件路径，传给命令的-i和-o参数。
• 等子进程运行结束后，直接从管道的读取端获取全部内容，存入Python变量即可。

参考实现代码：

import os
import subprocess

# 内存中的输入、输出变量
input_var = b"需要传给命令的原始输入内容"
output_var = b""

# 创建输入侧管道：给命令提供模拟的输入文件
in_read_fd, in_write_fd = os.pipe()
os.write(in_write_fd, input_var)
os.close(in_write_fd)  # 写完输入内容就关闭写端，模拟输入文件EOF

# 创建输出侧管道：接收命令的写入内容
out_read_fd, out_write_fd = os.pipe()

# 启动目标命令，把两个fd作为合法路径传给程序
# pass_fds 参数让子进程可以访问我们创建的两个管道fd
proc = subprocess.run(
    ["./command", "-i", f"/dev/fd/{in_read_fd}", "-o", f"/dev/fd/{out_write_fd}"],
    pass_fds=(in_read_fd, out_write_fd)
)

# 关闭写端触发EOF，读取全部输出内容
os.close(out_write_fd)
output_var = os.read(out_read_fd, 10 * 1024 * 1024)  # 按实际输出大小调整读取长度

# 清理所有打开的fd
os.close(in_read_fd)
os.close(out_read_fd)

关键注意事项 #

不要直接给ofstream传单向写管道的路径：C++ ofstream 打开文件时会尝试校验文件权限、获取文件偏移量，如果是单向只写的无名管道，内核会直接返回权限错误，甚至导致程序永久阻塞。必须用双向打开的fd或memfd内存文件接口暴露路径，才能正常完成写入操作。

如果运行环境的Linux内核版本在3.17以上，也可以直接用memfd_create系统调用创建完全等价于真实磁盘文件的匿名内存文件，把对应的/proc/self/fd/<编号>路径传给-o参数，比管道的兼容性更好，完全没有阻塞风险。

内容的提问来源于stack exchange，提问作者Alex