Python3环境下subprocess调用C脚本报[Errno 32] Broken pipe如何解决

核心原因分析 #

Py2.7和Py3.7的subprocess模块实现、字符串编码处理逻辑存在差异，加上新环境的C程序编译运行环境变更，触发管道破裂错误，常见诱因如下：

• 字符串编码不兼容：Py3中cmd_str如果是str类型，默认是Unicode编码，而shell=True调用的系统shell以及后续执行的C程序默认期望接收bytes类型的命令输入，或者与系统编码匹配的字符串，编码不匹配会导致C程序启动直接崩溃，提前关闭标准输出/输入管道，触发Broken pipe
• subprocess默认行为变更：Py3.2+开始subprocess.Popen的close_fds参数默认值从False改为True，如果你调用的C程序依赖继承父进程的额外文件描述符，会直接运行失败退出，导致管道断裂
• C程序编译兼容性问题：新环境的GCC版本为4.7.2，比旧环境高，旧环境下编译的C二进制直接复制到新环境运行可能存在依赖库不兼容的问题，导致启动即崩溃
• 预执行函数os.setsid的权限/行为差异：部分新系统的内核限制普通用户创建新会话的权限，导致preexec_fn执行失败，子进程直接退出

修复步骤 #

1. 统一命令编码格式
   将cmd_str显式转为bytes类型或者指定encoding参数，修改代码如下：

# 方案1：指定encoding参数，让subprocess自动处理编解码
subprocess.Popen(cmd_str, stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True, preexec_fn=os.setsid, encoding='utf-8')

# 方案2：显式将cmd_str转为bytes
subprocess.Popen(cmd_str.encode('utf-8'), stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True, preexec_fn=os.setsid)

2. 显式配置close_fds参数
   如果你的C程序需要继承父进程的文件描述符，显式将close_fds设为False：

subprocess.Popen(cmd_str, stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True, preexec_fn=os.setsid, encoding='utf-8', close_fds=False)

3. 重新编译C程序
   在新的虚拟机环境下使用当前GCC 4.7.2重新编译你的C语言脚本，确保二进制兼容新环境的glibc等依赖库
4. 优化会话创建逻辑
   先移除preexec_fn=os.setsid参数测试是否还报错，如果报错消失，说明是会话创建权限问题，可以改用Py3.2+新增的原生参数start_new_session=True替代os.setsid的preexec_fn写法，兼容性更好，修改后代码：

subprocess.Popen(cmd_str, stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True, start_new_session=True, encoding='utf-8')

5. 添加错误日志定位具体问题
   可以捕获子进程的stderr输出，查看C程序的具体报错信息：

proc = subprocess.Popen(cmd_str, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, start_new_session=True, encoding='utf-8')
stdout, stderr = proc.communicate()
if proc.returncode != 0:
    print(f"子进程错误输出：{stderr}")

内容的提问来源于stack exchange，提问作者Rima