如何批量替换pandas DataFrame全列指定特殊字符为空格

针对10万行、560列的大数据量场景，不要使用逐元素、逐列循环的写法，直接用pandas原生支持的向量化正则替换即可，底层为C实现，性能极高，秒级就能完成全表处理，无需单独为每列编写逻辑。

核心实现思路 #

• 首先对预定义的特殊字符做正则转义，避免部分字符属于正则元字符导致匹配逻辑错误
• 调用DataFrame级别的replace方法开启正则匹配模式，一次完成全表所有特殊字符的替换，方法会自动跳过非字符串类型的列，不会改动数值、日期等类型的数据

实现代码 #

import re
import pandas as pd
import numpy as np

# 你的测试示例数据
ds = {'col1' : ['1','3/','4'], 'col2':['A','!B','@C']}
df = pd.DataFrame(data=ds)

# 预先定义的待替换特殊字符集
listOfSpecialChars = '¬`!"£$£#/,.+*><@|"'

# 构造正则匹配规则：匹配任意一个出现在特殊字符集内的字符
pattern = f'[{re.escape(listOfSpecialChars)}]'

# 全表批量替换，所有命中的特殊字符统一替换为空格
df = df.replace(pattern, ' ', regex=True)

替换效果验证 #

执行替换后打印DataFrame，输出结果符合预期：

print(df)

  col1 col2
0    1    A
1   3     B
2    4     C

原表中3/的/、!B的!、@C的@都被正确替换为空格。

可选优化（混合数据类型场景） #

如果你的表中包含大量数值、时间戳类的非字符串列，也可以先显式筛选出所有字符串列再做替换，进一步减少不必要的计算：

# 筛选所有字符串类型的列
str_columns = df.select_dtypes(include=['object', 'string']).columns
# 仅对字符串列执行替换
df[str_columns] = df[str_columns].replace(pattern, ' ', regex=True)

这个方案的性能比逐列apply、逐元素遍历的写法高1~2个数量级，完全适配十万级行、数百列的数据规模。

内容的提问来源于stack exchange，提问作者Giampaolo Levorato