pandas正则替换自定义符号数组的报错及连字符替换失效问题

正则编译报错的原因 #

• 你遇到的missing ), unterminated subpattern是正则引擎的固定语法错误：当传入的正则模式中出现未转义的(，且没有对应的闭合)时，正则引擎会将(识别为捕获组的开始标记，因找不到组的结束位置抛出该错误。
• 你观察到symbolspace的元素是str64类型，其实是对二维数组类型的误判：你的符号数组是二维嵌套结构，每个符号单独存在于长度为1的子数组中，循环按行遍历时拿到的是这个子数组本身（哪怕子数组的dtype是str64），不是拆分出来的符号字符串标量。pandas处理非原生字符串的pat参数时，会自动将对象的字符串表示转换为正则模式，这个过程中子数组的字符串表示（类似array(['('], dtype='<U1')）里的(刚好落在普通语法位置，被识别为未闭合的捕获组，触发报错。
• 加上str()转换后不再报错，是因为str()将单元素子数组转为类似['(']的字符串，这个串的第一个字符是[，会被正则引擎识别为字符组的开始标记，后面内容中的(就变成了字符组内的普通字面量，不再具备捕获组的特殊作用，正则编译流程就能正常完成。

'-' 替换失效的原因 #

• 首先要明确：Series.str.replace()（你循环中使用的逐值字符串替换方法）和DataFrame.replace()（你直接测试时调用的整表值匹配方法）底层逻辑存在本质差异，哪怕都开启regex=True，匹配规则也不通用。
• 你循环生成symbolspace时，每个符号前加了空格，再经str()转换后，对应横杠的项实际生成的正则模式串类似[' -']。正则在解析这个模式串时，会把[到]之间的内容识别为字符类集合：
  • 集合内的顺序是单引号、空格、-、单引号，其中位于空格和单引号之间的-会被识别为范围运算符（正则中字符类内的-用来表示字符范围，比如a-z代表a到z的所有字母）。此时这个字符类实际匹配的是ASCII值在空格（32）到单引号（39）之间的所有字符，根本不会匹配ASCII值为45的字面横杠，自然替换失效。
  • 其余符号的对应模式串中，不存在-作为范围运算符的场景，字符类会匹配对应符号本身，所以替换能正常生效。
• 你直接写df.replace("-","",regex=True)就能生效，是因为此时传入的模式是独立的字面'-'，不在字符类[]结构内部，-不会被当成范围运算符，只是普通的字面字符；加上df.replace本身的匹配逻辑是对整个值做全局匹配，不会拆解字符串去解析内嵌的数组结构，所以能正常完成替换。

内容的提问来源于stack exchange，提问作者Nakkhatra