Python中df.str.replace去除标点无效的解决求助

问题根源 #

你之前用df['lowercase'].str.replace('[^\w\s]', '')没生效，是因为pandas的str.replace默认把第一个参数当作文本字面量替换，而非正则表达式，必须显式指定regex=True才会启用正则匹配。

方法1：修正原有代码 #

直接给str.replace加上regex=True参数，同时用原始字符串前缀r避免转义问题：

# 保留你原来的转小写代码
df['lowercase'] = df['reviews'].apply(lambda x: " ".join(word.lower() for word in x.split()))
# 修正后的去标点代码
df['clean_text'] = df['lowercase'].str.replace(r'[^\w\s]', '', regex=True)

方法2：一步完成转换（更高效） #

没必要分两步处理，直接在一次apply里同时完成小写转换和标点去除：

import re
df['clean_text'] = df['reviews'].apply(lambda x: re.sub(r'[^\w\s]', '', x.lower()))

方法3：处理全类型标点（含Unicode/非英文标点） #

如果你的文本里有中文标点、特殊符号这类[^\w\s]没覆盖到的标点，用string.punctuation配合正则转义来处理：

import string
import re

# 生成包含所有标准标点的正则模式，自动转义特殊字符
punct_regex = re.compile(f'[{re.escape(string.punctuation)}]')
df['clean_text'] = df['reviews'].apply(lambda x: punct_regex.sub('', x.lower()))

验证结果 #

处理完后可以打印前几行确认效果：

print(df[['reviews', 'clean_text']].head())

内容的提问来源于stack exchange，提问作者DoubleThink