Python调用Perl脚本遇OSError: [Errno7]参数列表过长如何解决？

问题根源 #

是的，消息大小就是导致错误的直接原因。
所有操作系统都对命令行参数的总长度有上限（不同系统阈值不同，通常在几十KB到100KB左右）。你将几百KB的消息直接作为命令行参数传递给Perl脚本，当消息体积超过系统允许的参数列表最大长度时，就会触发OSError: [Errno 7] Argument list too long错误。前两条20KB的消息刚好在阈值范围内，所以能正常执行。

解决方法 #

不要通过命令行参数传递大体积数据，改用**标准输入(stdin)**传递消息，这是跨进程传递大内容的常规方案，没有长度限制。

修改后的Python脚本 #

from subprocess import run


for id_ in ids:
    message = get_message_from_s3(id_)

    # 不再将message作为命令行参数，而是通过stdin传入
    command = ["perl", "decrypt_message.pl", "decrypt_message"]
    # 因为message是bytes类型，直接用input传递字节流，无需text=True
    output = run(command, check=True, capture_output=True, input=message)
    # 如需将输出转为文本，可手动解码
    decrypted_text = output.stdout.decode('utf-8')
    ...

修改后的Perl脚本 #

#!/usr/bin/perl

use strict;
use warnings;


my $function = shift;
# 从标准输入读取全部消息内容
local $/;
my $message = <STDIN>;

print decrypt_message($message);


sub decrypt_message {
    my $message = shift;

    my $decrypted_message = '';
    ...
    # 原有解密逻辑保持不变
    ...
    return $decrypted_message;
}

额外说明 #

• 用stdin传递数据不仅能解决参数过长的问题，还能避免特殊字符（比如空格、引号）在命令行参数中引发的解析错误，稳定性更强。
• 如果你的消息是二进制数据，这种方式也能完美兼容，不需要额外的编码解码处理。

内容的提问来源于stack exchange，提问作者Zsolesz