文本预处理函数无法完整移除Twitter话题标签问题求助

云上老周

2026-7-30

问题原因

你的代码里处理顺序完全搞反了：先执行了alpha_pattern的替换（把所有非字母数字字符换成空格，包括#），之后再用hashtag_pattern去匹配时，#已经变成空格了，自然匹配不到#Python，导致python被当成普通单词保留了下来。

修复方案

把「移除话题标签」的步骤移到「移除非字母数字字符」之前，同时可以优化正则表达式，去掉不必要的边界匹配：

import re
from nltk.stem import WordNetLemmatizer

def process(text):
    processed_text = []
    wordLemm = WordNetLemmatizer()

    # -- Regex patterns --
    url_pattern = r"https?://\S+"
    user_pattern = r'@[A-Za-z0-9_]+'
    alpha_pattern = "[^a-zA-Z0-9]"
    hashtag_pattern = r'#\w+'  # 优化正则，去掉冗余的\b

    for tweet_string in text:
        tweet_string = tweet_string.lower()
        
        # 先处理URL、用户名、话题标签
        tweet_string = re.sub(url_pattern, '', tweet_string)
        tweet_string = re.sub(user_pattern, '', tweet_string)
        tweet_string = re.sub(hashtag_pattern, '', tweet_string)
        
        # 再处理非字母数字字符
        tweet_string = re.sub(alpha_pattern, " ", tweet_string)
        
        # 用join简化单词拼接逻辑，同时清理多余空格
        tweetwords = ' '.join([
            wordLemm.lemmatize(word) 
            for word in tweet_string.split() 
            if len(word) > 1
        ])
        
        processed_text.append(tweetwords)
    
    return processed_text

# 测试示例
test_input = ['@twitterusername Crazy wind today no birding #Python']
print(process(test_input))  # 输出: ['crazy wind today no birding']

额外优化点