如何向tf-idf矩阵添加词数、字符数等自定义文本特征？

结论 #

你提到的三类统计类自定义特征完全可以添加到已生成的TF-IDF矩阵中，这类特征可以补充TF-IDF无法覆盖的文本结构信息，通常能有效提升文本分类、情感分析等下游任务的效果。

实现方法 #

方法1：直接稀疏矩阵拼接（快速实现） #

你已单独生成TF-IDF矩阵和三个自定义特征的情况下可以用该方法，通过scipy的hstack方法横向拼接两个矩阵即可：

from scipy.sparse import hstack
import numpy as np

# 将三个自定义特征合并为形状为(样本数, 3)的二维数组
custom_features = np.column_stack([word_count, char_count, num_stopword])
# 横向拼接TF-IDF稀疏矩阵和自定义特征矩阵
combined_features = hstack([tfidf, custom_features])

拼接完成后的combined_features仍为稀疏矩阵格式，不会额外占用过多内存，可直接输入到各类支持稀疏矩阵的模型中使用。

方法2：基于Sklearn流水线拼接（生产场景推荐） #

如果需要封装完整预处理流程、避免交叉验证时出现数据泄露，推荐用ColumnTransformer构建预处理流水线统一处理：

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer

# 定义文本列的TF-IDF处理分支
text_processor = Pipeline([
    ('tfidf', TfidfVectorizer(max_df=0.8, min_df=5, max_features=1600))
])

# 定义数值特征的处理分支，新增标准化步骤对齐TF-IDF的数值量级
numeric_processor = Pipeline([
    ('scaler', StandardScaler())
])

# 合并两个分支的特征处理逻辑
preprocessor = ColumnTransformer([
    ('text', text_processor, 'text'),
    ('numeric', numeric_processor, ['word_count', 'char_count', 'num_stopword'])
])

# 直接对原始数据集做转换，得到合并后的完整特征矩阵
combined_features = preprocessor.fit_transform(data)

注意事项 #

• 自定义数值特征的数值跨度通常远大于TF-IDF的0~1区间，建议做标准化或归一化处理，避免模型权重被数值量级更大的特征主导
• 如果需要做特征可解释性分析，可合并特征名列表方便后续定位特征重要性：

  feature_names = tfidf_vectorizer.get_feature_names_out().tolist() + ['word_count', 'char_count', 'num_stopword']
  

• 拼接后的特征矩阵兼容所有Sklearn框架下的分类、回归、聚类等模型。

内容的提问来源于stack exchange，提问作者Emad Hadadi