如何按括号外的逗号分词？正则Tokenizer问题求解

这个问题确实挺常见的——当逗号同时担任两种分隔角色时，标准的[^,]+肯定搞不定，因为它会把括号里的逗号也当成分割点。下面给你两种靠谱的实现思路，按需选择：

1. 正则表达式方案（适合单层括号场景） #

如果你的字符串里只有单层方括号（比如[test1,test2]这种，没有嵌套的[test[sub1,sub2]]），可以用这个简单的正则来匹配每个完整的项：

[^,\[]+(?:\[[^\]]+\])?

正则解释： #

• [^,\[]+：匹配开头部分，排除逗号和左括号，确保我们从一个选项的起始位置开始
• (?:\[[^\]]+\])?：可选的非捕获组，匹配完整的方括号内容——\[[^\]]+\]表示从[开始，到第一个]结束的所有内容（因为[^\]]+匹配除了]之外的任意字符）

举个测试例子：
输入字符串：filter1,filter2[test1,test2],filter3[testA,testB],filter4
用这个正则匹配后，得到的结果就是：filter1、filter2[test1,test2]、filter3[testA,testB]、filter4

2. 状态机遍历方案（通用所有场景，包括嵌套括号） #

如果你的字符串存在嵌套方括号（比如filter[test[nested1,nested2],test2]），正则就有点力不从心了（除非用支持平衡组的引擎，比如.NET或Python的regex库）。这时候用状态机遍历字符串是最稳妥的方法：

核心思路是跟踪括号的嵌套深度，只有当深度为0（不在任何括号内部）时，遇到逗号才进行分割。

下面是Python的示例代码：

def split_outside_brackets(input_str):
    result = []
    current_segment = []
    bracket_depth = 0
    
    for char in input_str:
        if char == '[':
            bracket_depth += 1
            current_segment.append(char)
        elif char == ']':
            # 可额外判断防止无效右括号，比如深度小于0时的处理
            if bracket_depth > 0:
                bracket_depth -= 1
            current_segment.append(char)
        elif char == ',' and bracket_depth == 0:
            # 深度为0时的逗号才是分隔符
            result.append(''.join(current_segment))
            current_segment = []
        else:
            current_segment.append(char)
    
    # 把最后一段加入结果
    if current_segment:
        result.append(''.join(current_segment))
    
    return result

# 测试嵌套场景
test_string = "filter1,filter2[test1,test2],filter3[testA,testB[sub1,sub2],testC],filter4"
print(split_outside_brackets(test_string))
# 输出结果：
# ['filter1', 'filter2[test1,test2]', 'filter3[testA,testB[sub1,sub2],testC]', 'filter4']

这个方法兼容性极强，不管有没有嵌套括号，甚至括号不匹配的情况（可加额外错误处理）都能处理，推荐作为首选方案。

内容的提问来源于stack exchange，提问作者Andrejs Cainikovs