GCP Dataflow Python流水线调用GPG解密文件无输出问题求助

你使用的两种写法失效的核心原因是：subprocess.call传入列表格式参数时默认不会启动shell解析环境，shell特有的重定向符号>会被识别为gpg命令的普通入参，不会执行文件输出重定向逻辑。第二种写法把包含重定向符号的字符串作为单个参数传入，gpg会直接查找名称为/tmp/test.csv.gpg > /tmp/test.csv的文件，自然无法找到目标加密文件，最终都无法生成解密后的目标文件。

方案1：启用shell解析模式（适合参数完全可控的场景） #

直接传入完整命令字符串，同时设置shell=True参数让subprocess启动shell环境解析命令：

subprocess.call('gpg -d /tmp/test.csv.gpg > /tmp/test.csv', shell=True)

注意：如果命令中包含用户可控的参数，该方案存在shell注入风险，不推荐使用。

方案2：显式指定输出流（生产环境推荐，更安全） #

不需要启动shell，直接通过stdout参数把解密输出流绑定到目标文件句柄即可，额外添加的--batch和--yes参数适配非交互式的流水线执行环境，避免gpg弹出交互提示导致进程卡住：

import subprocess

with open('/tmp/test.csv', 'wb') as output_file:
    subprocess.run(
        ['gpg', '-d', '--batch', '--yes', '/tmp/test.csv.gpg'],
        stdout=output_file,
        check=True  # 命令执行失败会抛出异常，方便排查问题
    )

• 提前确认Dataflow Worker节点已安装gpg工具，建议通过自定义容器镜像预装gpg、提前导入解密所需的私钥并配置信任等级，避免运行时出现密钥不存在或信任不足的报错。
• 如果解密需要传入passphrase，可以通过stdin参数传入，同时给gpg添加--passphrase-fd 0参数读取标准输入的密码。

内容的提问来源于stack exchange，提问作者Alex