如何从Pandas Series移除指定字符？解决正则编译报错问题

问题描述 #

下午好。我检查Pandas DataFrame某列文本时，发现大量不需要的字符（字符列表见报错输出），文本编码为UTF8。请问如何正确从该Series列中移除所有这些字符？

我尝试了以下代码：

template = bad_symbols[0].str.cat(sep='|')

print(template)

template = re.compile(template, re.UNICODE)

test = label_data['text'].str.replace(template, '', regex=True)

但出现了如下报错：

"|,|.|
|2|5|0|1|6|ё|–|8|3|-|c|t|r|l|+|e|n|g|i|w|s|k|z|«|(|)|»|—|9|7|?|o|b|a|/|f|v|:|%|4|!|;|h|y|u|d|&|j|p|x|m|і|№|ұ|…|қ|$|_|[|]|“|”|ғ|||​|>|−|„|*|¬|ү|ң|@|©|―|q|→|’|∙|·| |ә| |ө|š|é|=|­|×|″|⇑|⇐|⇒|‑|′|\|<|#|'|˚| |ü|̇|̆|•|½|¾|ń|¤|һ|ý|{|}| |‘|ā|í||ī|‎|ќ|ђ|°|‚|ѓ|џ|ļ|▶|新|千|歳|空|港|全|日|機|が|曲|り|き|れ|ず|に|雪|突|っ|込|む|ニ|ュ|ー|ス|¼|ù|~|ə|ў|ҳ|ό||€|🙂|¸|⠀|ä|¯|ツ|ї|ş|è|`|́|ҹ|®|²|‪|ç| |☑|️|‼|ú|‒|−|👊|🏽|👁|ó|±|ñ|ł|ش|ا|ه|ن|م|›|
|£||||º
---------------------------------------------------------------------------
error                                     Traceback (most recent call last)
<ipython-input-105-36817f343a8a> in <module>
      5 print(template)
      6 
----> 7 template = re.compile(template, re.UNICODE)
      8 
      9 test = label_data['text'].str.replace(template, '', regex=True)

5 frames
/usr/lib/python3.7/sre_parse.py in _parse(source, state, verbose, nested, first)
    643             if not item or item[0][0] is AT:
    644                 raise source.error("nothing to repeat",
--> 645                                    source.tell() - here + len(this))
    646             if item[0][0] in _REPEATCODES:
    647                 raise source.error("multiple repeat",

error: nothing to repeat at position 36 (line 2, column 30)

问题原因 #

你用|拼接字符生成正则模板的方式有两个核心问题：

1. 很多字符是正则元字符（比如+、*、?、(、)），直接拼接会被当成正则语法解析，导致编译报错；
2. 用|匹配单个字符的效率极低，远不如正则字符集[]的匹配逻辑。

解决方案 #

方法1：正则字符集（简单易用） #

把所有要移除的字符放进[]组成的字符集里，用re.escape()自动转义元字符，避免语法错误：

import re
import pandas as pd

# 提取所有要移除的字符
bad_chars = ''.join(bad_symbols[0])
# 生成正则模式：转义后放入字符集
pattern = f"[{re.escape(bad_chars)}]"
# 批量替换
label_data['clean_text'] = label_data['text'].str.replace(pattern, '', regex=True)

方法2：str.translate()（性能最优） #

如果要处理的文本量很大，str.translate()的替换效率比正则更高，它通过字符映射表直接完成替换：

# 创建映射表：要移除的字符对应None
trans_table = str.maketrans('', '', ''.join(bad_symbols[0]))
# 应用映射表清理文本
label_data['clean_text'] = label_data['text'].str.translate(trans_table)

补充说明 #

• 正则字符集[]会匹配其中任意单个字符，逻辑更清晰，执行速度比|拼接快数倍；
• re.escape()能自动处理所有正则元字符，不用手动逐个转义特殊符号；
• str.translate()是Python原生的字符处理方法，在批量移除字符场景下性能碾压正则表达式。

内容的提问来源于stack exchange，提问作者Blademoon