如何为稀疏矩阵中的TF-IDF值设置阈值限制

我正在使用sklearn.feature_extraction.text中的TfidfTransformer获取语料库的TF-IDF值。以下是我的代码：

X = dataset[:,0]
Y = dataset[:,1]

for index, item in enumerate(X):
    reqJson = json.loads(item, object_pairs_hook=OrderedDict)
    X[index] = json.dumps(reqJson, separators=(',', ':'))
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(X)

tfidf_transformer = TfidfTransformer()
X_train_tfidf = (tfidf_transformer.fit_transform(X_train_counts))

# (58720, 167216) 是我的稀疏矩阵维度

for i in range (0,58720):
    for j in range (0,167216):
        print(i,j)
        if X_train_tfidf[i,j]>0.35:
            X_train_tfidf[i,j]=0

我希望过滤掉大于0.35的TF-IDF值，以此减少特征集并提升模型效率，但使用嵌套循环的方式效率极低。查阅TfidfTransformer文档后未找到更好的方法，请问有什么思路或建议吗？谢谢。

别用嵌套循环遍历整个稀疏矩阵——这完全是在浪费性能，稀疏矩阵的核心优势就是只存储非零元素，你应该直接针对这些元素操作：

1. 直接利用稀疏矩阵的阈值过滤 #

X_train_tfidf是scipy的稀疏矩阵（通常为CSR格式），可以直接通过布尔索引快速设置大于阈值的元素为0，再压缩无用特征：

# 一步过滤大于0.35的TF-IDF值
X_train_tfidf[X_train_tfidf > 0.35] = 0
# 移除全零的特征列（进一步减少特征数量）
X_train_tfidf = X_train_tfidf[:, X_train_tfidf.getnnz(axis=0) > 0]

这个操作只会处理矩阵中的非零元素，避免了遍历数百万个空值，性能会有质的提升。

2. 更高效的特征筛选方案（推荐） #

如果你的目标是减少特征数，建议在TF-IDF生成阶段直接结合特征选择，比事后过滤更高效：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_selection import SelectPercentile, chi2

# 用TfidfVectorizer替代CountVectorizer+TfidfTransformer，代码更简洁
tfidf = TfidfVectorizer()
X_train_tfidf = tfidf.fit_transform(X)

# 选择top N%的特征（比如保留90%），也可以用SelectKBest选固定数量的特征
selector = SelectPercentile(chi2, percentile=90)
X_train_tfidf_selected = selector.fit_transform(X_train_tfidf, Y)

这种方式会基于统计指标（比如卡方检验）筛选真正有区分度的特征，比单纯按TF-IDF阈值过滤更合理，同时流程更顺畅。

内容的提问来源于stack exchange，提问作者Levick