如何在Pandas中移除字符串列内的非文本特殊字符、表情符号等内容？

核心实现逻辑 #

无需逐个枚举特殊字符，通过正则反向匹配所有需要保留的合法字符，一次性替换所有不符合规则的内容，同时处理空格格式即可达到要求。默认保留大小写英文字母、单词间隔用的空格，可根据需求灵活调整保留的字符范围。

单字段处理代码 #

适用于仅需要处理指定列（如示例中的firstname列）的场景：

# 替换所有非英文字母的字符为空格
df['firstname'] = df['firstname'].str.replace(r'[^a-zA-Z]', ' ', regex=True)
# 压缩连续多个空格为单个，同时删除首尾多余空格
df['firstname'] = df['firstname'].str.replace(r'\s+', ' ', regex=True).str.strip()

批量处理所有字符串列代码 #

如果需要统一处理整个DataFrame里所有字符串类型的列，可使用批量遍历的写法：

# 筛选出所有字符串类型的列
str_columns = df.select_dtypes(include='object').columns

for col in str_columns:
    df[col] = df[col].str.replace(r'[^a-zA-Z]', ' ', regex=True)\
                     .str.replace(r'\s+', ' ', regex=True)\
                     .str.strip()

自定义扩展规则 #

可以根据业务场景灵活调整正则的保留字符范围：

• 需要保留中文：将正则[^a-zA-Z]修改为[^a-zA-Z\u4e00-\u9fa5]
• 需要保留语句常用标点（如逗号、句号、感叹号）：修改为[^a-zA-Z,.!? ]
• 需要保留数字：修改为[^a-zA-Z0-9]

内容的提问来源于stack exchange，提问作者scofx