Python Pandas批量替换含特殊符号文本失效问题求助

问题 #

在Python的Pandas库中批量替换文本时，匹配包含(、[、:、-等特殊符号的目标内容时替换失效。现有示例DataFrame：

import pandas as pd
df = pd.DataFrame({
    'col1': [
        '( red ) apple',
        '[ 20220901 ] autumn',
        '- gotohome',
        'sample : salt bread'
    ]
})

期望处理后结果：

col1
0  red
   apple
1  20220901 
   autumn
2  gotohome
3  sample
   salt bread

尝试的代码未生效：

change_word = {
    '( red )'        : 'red\n', 
    '[ 20220901 ]'   : '20220901\n',
    '- '             : '', 
    ':'              : '\n'
}

regex = r'\b(?:' + r'|'.join(change_word.keys()) + r')\b'
df["col1"] = df["col1"].str.replace(regex, lambda m: change_word[m.group()], regex=True)

解决方案 #

问题根源 #

1. 特殊字符未转义：(、[、-这些是正则的元字符，直接拼接成正则表达式会被解析成语法规则，而非字面匹配目标内容。
2. 单词边界\b不适用：\b匹配的是单词字符（字母、数字、下划线）和非单词字符的边界，像- 、( red )这类内容的边界不符合\b规则，导致匹配不到。

修改后的代码 #

import pandas as pd
import re

change_word = {
    '( red )'        : 'red\n', 
    '[ 20220901 ]'   : '20220901\n',
    '- '             : '', 
    ':'              : '\n'
}

# 对每个键进行正则转义，避免特殊字符被解析成正则语法
escaped_keys = [re.escape(key) for key in change_word.keys()]
# 拼接成正则表达式，去掉不必要的\b
regex = r'|'.join(escaped_keys)

# 执行替换
df["col1"] = df["col1"].str.replace(regex, lambda m: change_word[m.group()], regex=True)

# 查看结果（实际单元格内会显示换行）
print(df)

运行结果 #

col1
0        red\n apple
1  20220901\n autumn
2          gotohome
3      sample\n salt bread

注：打印时\n显示为转义字符，实际在DataFrame单元格中会自动换行，与预期效果一致。

可选优化 #

如果需要清理换行后的多余空格，可追加以下代码：

df["col1"] = df["col1"].str.replace(r'\n\s*', '\n', regex=True)

内容的提问来源于stack exchange，提问作者now