如何将PySpark Shell交互式命令提取为独立Python文件命令？

原Perl脚本仅能匹配单行的>>>开头命令，无法处理跨多行的Python代码（比如带未闭合括号、三引号字符串的场景），因为这类多行命令后续行以...开头，且需要跟踪语法闭合状态。以下是改进的解决方案：

改进的Perl处理脚本 #

perl -ne '
    BEGIN { $in_multiline = 0; $open_parens = 0; $open_quotes = 0; }
    if (/^>>>(.*)/) {
        print "$1\n";
        $line = $1;
        # 更新未闭合括号计数
        $open_parens += ($line =~ tr/(/(/ - $line =~ tr/)/)/);
        # 更新三引号成对状态（奇数为未闭合）
        $open_quotes += ($line =~ tr/"""/"""/);
        $in_multiline = ($open_parens > 0) || ($open_quotes % 2 != 0);
    } elsif ($in_multiline && /^\.\.\.(.*)/) {
        print "$1\n";
        $line = $1;
        $open_parens += ($line =~ tr/(/(/ - $line =~ tr/)/)/);
        $open_quotes += ($line =~ tr/"""/"""/);
        # 若括号全闭合且引号成对，退出多行模式
        $in_multiline = ($open_parens > 0) || ($open_quotes % 2 != 0);
    }
' py_commands.txt > cleaned_commands.py

脚本工作逻辑 #

1. 初始化状态变量：$in_multiline标记是否处于多行命令中，$open_parens统计未闭合括号数，$open_quotes统计三引号出现次数
2. 匹配>>>开头的行：提取命令内容，计算当前行的括号、引号状态，判断是否进入多行模式
3. 处于多行模式时，匹配...开头的行：提取内容并更新括号、引号计数，直到括号全闭合、引号成对，退出多行模式
4. 所有提取的命令直接输出到目标文件

示例验证 #

原始PySpark Shell输入片段 #

def calculate_sum(arr):
... total = 0
... for num in arr:
... total += num
... return total
...
result = calculate_sum([1,2,3,4])
print(result)
10
doc = """
... PySpark多行命令提取
... 测试三引号场景
... """

处理后cleaned_commands.py内容 #

def calculate_sum(arr):
    total = 0
    for num in arr:
        total += num
    return total

result = calculate_sum([1,2,3,4])
print(result)
doc = """
PySpark多行命令提取
测试三引号场景
"""

注意事项 #

• 该脚本覆盖了PySpark Shell中常见的多行场景：函数/类定义、跨多行括号、三引号字符串
• 若遇到字符串中嵌套括号/引号的极端场景，可能需要更复杂的语法分析，但日常PyShell输出处理足够适用
• 提取后的脚本可直接运行，需确保PySpark上下文已提前初始化

内容的提问来源于stack exchange，提问作者stack0114106