You need to enable JavaScript to run this app. 如何将TF-IDF向量化输出输入神经网络实现IMDB评论二分类
优惠活动
大模型
产品
解决方案
定价
更多

如何将TF-IDF向量化输出输入神经网络实现IMDB评论二分类

错误根因梳理
  • 首个报错的本质:scipy生成的TF-IDF稀疏矩阵的索引顺序不满足TensorFlow处理稀疏输入时要求的行优先严格排序规则,触发序列化失败。
  • 第二个报错的本质:tf.sparse.reorder仅支持TensorFlow原生SparseTensor类型输入,无法直接识别scipy稀疏矩阵。
  • 第三个报错的本质:无约束的全量二元ngram特征提取会生成超300万维的特征空间,转稠密矩阵时需要1TiB以上的连续内存,远超普通硬件承载能力。
  • 代码隐藏bug:原神经网络定义中,将整个训练集的形状直接传入input_shape参数,Keras要求该参数为单条样本的特征维度,传入全量数据集形状会直接触发维度不匹配错误。
完整可运行实现方案

优化TF-IDF向量化逻辑

通过参数限制特征空间规模,避免维度爆炸,同时保留有效文本特征:

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np
import scipy.sparse as sp
import tensorflow as tf

def Ngram_Vectorizer(reviews_train, reviews_test):
    tfidf = TfidfVectorizer(
        analyzer='word',
        ngram_range=(1, 2),
        max_features=20000,  # 仅保留权重最高的20000个特征
        min_df=3,           # 过滤在少于3条评论中出现的低频次特征
        max_df=0.9,         # 过滤出现在超过90%评论中的通用无价值特征
    )
    tfidf.fit(reviews_train)
    reviews_train = tfidf.transform(reviews_train)
    reviews_test = tfidf.transform(reviews_test)
    return reviews_train, reviews_test

适配TensorFlow稀疏输入格式

实现scipy稀疏矩阵到合规TensorFlow稀疏张量的转换,提前完成索引排序,避免序列化报错:

def scipy_sparse_to_tf_sparse(sparse_mat):
    # 转为CSR格式提取非零元素
    csr_mat = sparse_mat.tocsr()
    row_ind, col_ind = csr_mat.nonzero()
    values = csr_mat.data
    # 按行优先规则排序索引
    sort_order = np.lexsort((col_ind, row_ind))
    sorted_row = row_ind[sort_order]
    sorted_col = col_ind[sort_order]
    sorted_values = values[sort_order]
    # 构造二维索引
    indices = np.hstack((sorted_row[:, None], sorted_col[:, None]))
    return tf.SparseTensor(
        indices=indices,
        values=sorted_values,
        dense_shape=csr_mat.shape
    )

修正神经网络定义

适配稀疏输入,修正错误的输入维度参数:

def NeuralNetwork(reviews_train, labels_train, reviews_test, labels_test):
    # 转换为合规稀疏张量
    train_sp = scipy_sparse_to_tf_sparse(reviews_train)
    test_sp = scipy_sparse_to_tf_sparse(reviews_test)
    input_dim = reviews_train.shape[1] # 单条样本的特征维度
    
    model = tf.keras.Sequential([
        tf.keras.layers.Input(shape=(input_dim,), sparse=True),
        tf.keras.layers.Dense(256, activation='relu'),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(1, activation='sigmoid')
    ])
    model.compile(
        loss='binary_crossentropy',
        optimizer='adam',
        metrics=['accuracy']
    )
    model.fit(
        train_sp,
        labels_train,
        validation_data=(test_sp, labels_test),
        batch_size=128,
        epochs=5
    )
    model.summary()
关键注意事项
  • 无需对标签执行稀疏转换:标签是一维稠密的二分类数组,不属于稀疏数据结构,手动调用稀疏处理函数只会触发类型错误。
  • 无需强制将稀疏矩阵转稠密格式:Keras Dense层原生支持稀疏输入,可将内存占用降低两个数量级。
  • TF-IDF特征提取必须配置频次过滤和最大特征数参数,否则高维特征空间不仅会触发内存错误,还会大幅提升训练时间。

内容的提问来源于Stack Exchange,提问作者Swetha Sivakumar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.18 20:36:09