如何在Pandas DataFrame中从tweet列移除hashtag列内容？

需求说明 #

原始DataFrame结构：

需要实现的效果：从tweet列中移除对应hashtag列包含的内容，得到如下结果：

尝试过的方法及报错 #

• 方法一：

def remove_hashtags(df):
    df.tweet = [df.tweet.apply(" ".join(word)) for word in df['tweet'].apply(word_tokenize) if  word not in df['hashtags']]
    return df

报错：TypeError: unhashable type: 'list'

• 方法二：

def remove_hashtags(df):
    df.tweet = [df.tweet.apply(" ".join(word)) for word in df['tweet'].apply(word_tokenize) if  word not in df['hashtags'].apply(word_tokenize)]
    return df

报错：TypeError: expected string or bytes-like object

• 方法三（结合sent_tokenize与word_tokenize）：

def remove_tweets(df):
    for sent in sent_tokenize(df.tweet):
        for word in word_tokenize(sent):
            df["tweet2"] = df["tweet2"].apply(" ".join(word))
    return df

报错：TypeError: expected string or bytes-like object

• 方法四：

def remove_tweets(df):
    clean_text = []
    for word in word_tokenize(df.tweet):
        if word not in df.hashtags:
            clean_text.append(word)
    df['tweet2'] = clean_text
    return df

报错：TypeError: expected string or bytes-like object

此外，尝试过用df['hashtags'].apply(lambda x: ','.join(map(str, x)))处理hashtag列，问题仍未解决。

解决思路与代码 #

核心问题分析 #

之前的方法普遍存在两个问题：

1. 未逐行匹配处理tweet和对应的hashtag，而是直接对整列操作，导致逻辑混乱
2. 未正确解析hashtag列的字符串格式（如[banana 23]），无法准确提取要移除的单词

实现代码 #

import pandas as pd

# 构造示例数据（实际使用时替换为你的DataFrame）
df = pd.DataFrame({
    'tweet': ['bla banana bla bla 23', 'bla bla apple'],
    'hashtag': ['[banana 23]', '[apple]']
})

def clean_single_row(row):
    # 解析hashtag列：去掉方括号，分割成单词列表
    hashtag_words = row['hashtag'].strip('[]').split()
    # 分割tweet为单词列表
    tweet_words = row['tweet'].split()
    # 过滤掉属于hashtag的单词
    filtered_words = [word for word in tweet_words if word not in hashtag_words]
    # 重新拼接为字符串，自动去除多余空格
    return ' '.join(filtered_words)

# 逐行应用清理函数
df['tweet'] = df.apply(clean_single_row, axis=1)
# 重命名列名以匹配目标格式（可选）
df.rename(columns={'hashtag': 'hashtags'}, inplace=True)

print(df)

代码说明 #

• 使用df.apply(..., axis=1)实现逐行处理，确保每一行的tweet和对应的hashtag对应匹配
• 通过strip('[]')去掉hashtag字符串的方括号，再用split()分割成单词集合
• 过滤tweet中的单词后，用' '.join()重新拼接，自动处理多余空格问题

运行后即可得到目标结果。

内容的提问来源于stack exchange，提问作者duecci