Python中能否用shlex拆分语句且保留引号与反斜杠？

需求说明 #

需要复刻Perl中Text::ParseWords::quotewords($keep=1)的功能：

• 严格遵循POSIX Shell的词法规则（支持引号内的转义、引号嵌套处理等）
• 将字符串拆分为命令行参数风格的列表
• 保留原始输入中的引号和反斜杠，不被自动剥离

例如：

• 输入：'abc "def ghi" jkl' → 期望输出：['abc', '"def ghi"', 'jkl']
• 输入：'foo "bar\"baz" qux' → 期望输出：['foo', '"bar\"baz"', 'qux']

使用shlex.split(posix=False)虽然能处理基础场景，但会禁用POSIX模式下的转义支持，无法满足复杂情况，因此需要更可靠的方案。

基于标准库shlex的自定义实现 #

Python的shlex模块本身默认会剥离引号，但可以通过继承shlex.shlex类，重写read_token方法来保留原始的引号和转义字符。核心思路是利用shlex的词法分析定位token的起止位置，直接截取原始输入片段作为最终token。

代码实现 #

import shlex

class QuotedShlex(shlex.shlex):
    def __init__(self, instream, **kwargs):
        # 启用POSIX模式，保证词法规则正确性
        super().__init__(instream, posix=True, **kwargs)

    def read_token(self):
        # 调用父类方法完成词法分析，确定token的起止位置
        token = super().read_token()
        if token is None:
            return None
        # 从原始输入中截取对应的片段，保留引号和转义符
        return self.instream[self.token_start:self.token_end]

def quoted_split(input_str):
    lexer = QuotedShlex(input_str)
    return list(lexer)

测试验证 #

# 基础带双引号的场景
print(quoted_split('abc "def ghi" jkl'))
# 输出: ['abc', '"def ghi"', 'jkl']

# 引号内带转义引号的场景
print(quoted_split('foo "bar\"baz" qux'))
# 输出: ['foo', '"bar\"baz"', 'qux']

# 单引号及内部转义场景
print(quoted_split("hello 'world\\'s test' end"))
# 输出: ['hello', "'world\\'s test'", 'end']

# 混合引号场景
print(quoted_split('mixed "quote \'test\' case" example'))
# 输出: ['mixed', '"quote \'test\' case"', 'example']

这个实现完全基于标准库，既保证了POSIX模式下的词法正确性，又完整保留了原始的引号和转义字符，完美匹配需求。

第三方库替代方案 #

如果不想自行实现，可考虑使用shellingham或cmdparse等第三方库，但这些库需要额外安装。上述基于shlex的自定义方案无需依赖，是更轻量的选择。

内容的提问来源于stack exchange，提问作者user1806566