Python技术问题：大文本词汇匹配与推文词形还原效率优化

反复打开关闭文件查询绝对是性能杀手——IO操作的耗时比内存操作高几个数量级。最直接的优化就是一次性把整个词形表加载到内存字典里，之后查询直接走内存，速度会从15秒降到毫秒级。

优化方案代码实现 #

def load_lemma_dictionary(lemma_file_path):
    lemma_map = {}
    with open(lemma_file_path, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            if not line:
                continue  # 跳过空行
            # 按第一个分隔符拆分（避免lemma含空格的情况）
            parts = line.split(maxsplit=1)
            if len(parts) != 2:
                continue  # 跳过格式错误的行
            word, lemma = parts
            # 统一转小写，规避大小写不匹配问题
            lemma_map[word.lower()] = lemma.lower()
    return lemma_map

def process_tweets_with_lemma(tweets, lemma_map):
    processed_tweets = []
    for tweet in tweets:
        processed_words = []
        for word in tweet.split():
            # 查字典，找不到则保留原词
            processed_words.append(lemma_map.get(word.lower(), word))
        processed_tweets.append(' '.join(processed_words))
    return processed_tweets

# 使用流程
# 1. 仅加载一次字典！这步只执行一次，别在循环里反复加载
lemma_dict = load_lemma_dictionary("your_lemma_file.txt")

# 2. 批量处理推文，速度飞快
tweets = [
    "I was running through the park",
    "They have eaten all the cookies"
]
processed_tweets = process_tweets_with_lemma(tweets, lemma_dict)
for tweet in processed_tweets:
    print(tweet)

额外优化小贴士 #

• 如果词形表特别大（比如超几个G），内存装不下，可以考虑用SQLite建索引表查询，但一般场景下内存字典完全够用；
• 若同一单词对应多个lemma，可改用collections.defaultdict(list)存储所有可能结果；
• 预处理时统一转小写，能避免很多大小写导致的查询失败问题。

内容的提问来源于stack exchange，提问作者Adela