电影情感分析英文文本预处理嵌套循环效率低，4.2万行数据集求优化

原代码核心性能瓶颈定位 #

• 重复初始化开销：每处理一个样本就新建一次PorterStemmer实例、重新加载一次全量英文停用词列表，42000条样本下仅类初始化和IO加载的冗余开销就占了90%以上的运行时间
• 查找效率极低：停用词列表用的是原生list结构，单词匹配是线性遍历，相比集合结构的哈希查找慢近两个数量级
• 遍历方式低效：逐索引读取df['text'][i]的pandas元素访问方式，远慢于整列批量操作
• 冗余临时变量：最外层初始化的空列表filtered没有实际作用，每轮循环都会被重置，临时变量类型在列表、字符串之间反复切换，增加了不必要的内存读写开销

零依赖快速优化方案 #

所有优化点全程只需要加载一次资源，没有重复开销，42000条样本单线程运行耗时通常在10秒以内：

1. 前置预加载全局资源，全程不重复初始化

import re
import pandas as pd
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer

# 停用词转set结构，查找复杂度从O(n)降至O(1)，仅加载1次
stop_words = set(stopwords.words("english"))
# 词干提取器仅初始化1次
stemmer = PorterStemmer()
# 预编译正则规则，避免每轮循环重复编译
non_alpha_regex = re.compile(r"[^a-zA-Z]")

2. 封装单条文本清洗逻辑，整列批量套用

def text_clean_pipeline(raw_text: str) -> str:
    # 替换所有非英文字符
    text = non_alpha_regex.sub(" ", str(raw_text))
    # 统一转小写
    text = text.lower()
    # 拆分单词
    word_list = text.split()
    # 批量过滤停用词+批量词干提取
    processed_words = [
        stemmer.stem(word)
        for word in word_list
        if word not in stop_words
    ]
    return " ".join(processed_words)

# 对全量文本列做批量处理
df["cleaned_text"] = df["text"].apply(text_clean_pipeline)
# 直接导出为目标语料库，无需手动append
corpus = df["cleaned_text"].tolist()

进一步提速的可选方向 #

• 多核并行：将普通apply替换为swifter的并行apply接口，可自动利用CPU核心数提升处理速度，通常能再提速3-6倍
• 流程融合：如果后续需要做TF-IDF/词袋向量化，可以直接将清洗逻辑嵌入TfidfVectorizer的自定义预处理、token过滤参数中，减少中间数据的内存拷贝开销
• 注意修正原代码中的测试逻辑：原代码中for i in range(2)是小样本调试的截取逻辑，全量跑批时需要删除，避免只处理前2条样本

补充说明：如果在停用词查找环节仍然觉得慢，可以将常用停用词提前转成frozenset结构，进一步降低哈希查找的开销。

内容的提问来源于stack exchange，提问作者Anushree Bajaj