Python数据集移除指定词组组合：代码失效问题排查

你的代码存在几个明显问题，导致无法正常运行：

错误点拆解 #

• 拼写错误：nog是笔误，正确写法应为not，这是直接触发语法报错的原因。
• 逻辑偏差：x.split()会把文本拆成单个单词，但你要移除的是多词组成的短语，这种拆分方式根本无法匹配到目标词组。
• 列表推导式语法错误：正确的列表推导式格式是[元素 for 元素 in 可迭代对象 if 条件]，你写的[item in x.split() if item not in stoplist]完全不符合语法，最终会生成一堆布尔值，而非需要保留的文本内容。
• 字符串连接错误：''.join()会把单词直接拼接成无空格的字符串，应该用' '.join()来保留单词间的空格（不过这个问题在前面的逻辑错误面前是次要的）。

正确解法 #

因为要处理的是多词短语，用正则表达式替换是最高效的方式，以下是符合你需求的代码：

方法一：正则表达式替换（推荐） #

import re

# 定义要移除的完整短语（包含冒号和后续空格，匹配你的示例场景）
phrases_to_remove = ['what is good: ', 'what needs improvement: ']
# 构建正则模式，自动转义特殊字符，避免匹配异常
pattern = re.compile('|'.join(re.escape(p) for p in phrases_to_remove))

# 对columnX的每行文本执行替换，并去除首尾多余空格
dataset['columnY'] = dataset['columnX'].apply(lambda x: pattern.sub('', x).strip())

方法二：循环字符串替换（适合简单场景） #

如果不想用正则，也可以通过循环替换实现：

phrases_to_remove = ['what is good: ', 'what needs improvement: ']

def clean_text(text):
    for phrase in phrases_to_remove:
        text = text.replace(phrase, '')
    return text.strip()

dataset['columnY'] = dataset['columnX'].apply(clean_text)

两种方法都能得到你想要的结果：

the weather the house
everything nothing

内容的提问来源于stack exchange，提问作者marita