如何快速过滤Pandas DataFrame中含特殊字符的行？

你的问题主要有两个核心问题：一是原方法大概率因为列名拼写错误导致不生效（你的DataFrame列名是words，但代码里写的是df['word']），二是循环多次过滤的方式效率极低。我们可以通过构建一次性正则表达式的方式，同时解决这两个问题，大幅提升处理速度。

步骤详解： #

1. 处理特殊字符的正则转义
   你的BAD_CHARS里包含.、(、)这类正则元字符，直接拼接会导致匹配逻辑出错。所以需要用re.escape()对每个字符进行转义，确保它们被当作普通字符来匹配。

2. 构建统一的正则匹配模式
   把转义后的字符用|连接，形成一个能匹配任意目标特殊字符的正则表达式。这样只需要一次str.contains()操作就能完成所有过滤，避免了循环中多次切片DataFrame的额外开销。

3. 执行过滤并得到结果
   用~对匹配结果取反，就能保留不包含任何特殊字符的行。

完整代码示例： #

import pandas as pd
import re

# 构建你的目标DataFrame
df = pd.DataFrame({
    'words': ['&', 'CONDUCTED', '(E.G.,', 'EXPERIMENT', '(VS.', '(WARD', '-', '2006;', '3D', 'ABLE', 'ABSTRACT', 'ACCOMPANIED', 'ACTIVITY', 'AD', 'ADULTS'],
    'frequency': [11, 3, 5, 6, 5, 3, 14, 3, 5, 5, 3, 5, 11, 5, 6]
})

BAD_CHARS = ['.', '&', '(', ')', ';', '-']
# 转义特殊字符并拼接成正则模式
pattern = '|'.join(re.escape(char) for char in BAD_CHARS)
# 一次完成所有过滤
filtered_df = df[~df['words'].str.contains(pattern, regex=True)]

print(filtered_df)

输出结果： #

words  frequency
1    CONDUCTED          3
3    EXPERIMENT          6
8           3D          5
9          ABLE          5
10     ABSTRACT          3
11  ACCOMPANIED          5
12     ACTIVITY         11
13           AD          5
14       ADULTS          6

为什么这个方法更高效？ #

• 避免了循环中多次对DataFrame进行切片操作（每次切片都会生成新的DataFrame实例，带来额外的内存占用和计算开销）。
• 一次性正则匹配利用了Pandas的向量化操作特性，比循环遍历的速度快得多，尤其是当DataFrame行数较多时，性能差距会非常显著。

另外补充：原方法不生效的核心原因就是列名拼写错误——你的DataFrame列名是words，但代码里写的是df['word']，这会导致KeyError或者完全匹配不到内容；就算修正列名，循环过滤的效率依然远低于一次性正则匹配的方式。

内容的提问来源于stack exchange，提问作者muazfaiz