You need to enable JavaScript to run this app. MOSI数据集文本情感分析LSTM模型验证准确率远低于训练准确率问题求助
优惠活动
大模型
产品
解决方案
定价
更多

MOSI数据集文本情感分析LSTM模型验证准确率远低于训练准确率问题求助

核心问题

模型验证准确率远低于训练准确率。

问题背景

正在使用MOSI数据集开展多模态情感分析任务,当前仅针对文本数据集训练模型。文本处理采用300维的GloVe嵌入,总词汇量为2173,序列填充长度为30,目标数组为[0,0,0,0,0,0,1],最左侧代表高度负向,最右侧代表高度正向。
补充信息:总token数量为2719,包含训练集和测试集在内的总句子数为2183。

数据集拆分代码

X_train, X_test, y_train, y_test = train_test_split(WDatasetX, y7, test_size=0.20, random_state=42)

分词流程代码

MAX_NB_WORDS = 3000
tokenizer = Tokenizer(num_words=MAX_NB_WORDS,oov_token = "OOV")
tokenizer.fit_on_texts(Text_X_Train)
tokenized_X_train = tokenizer.texts_to_sequences(Text_X_Train)
tokenized_X_test = tokenizer.texts_to_sequences(Text_X_Test)

嵌入矩阵构建代码

vocab_size = len(tokenizer.word_index)+1
emb_mean=0
def embedding_matrix_filteration():
    all_embs = np.stack(list(embeddings_index.values()))
    print(all_embs.shape)
    emb_mean, emb_std = np.mean(all_embs), np.std(all_embs)
    print(emb_mean)
    embedding_matrix = np.random.normal(emb_mean, emb_std, (vocab_size, embed_dim)) # 生成指定尺寸的高斯分布初始化矩阵
    print(embedding_matrix.shape)
     print("length of word2id:",len(word2id))
    embeddedCount = 0
    not_found = []
    for word, idx in tokenizer.word_index.items():
        embedding_vector = embeddings_index.get(word.lower())
        if word == ' ':
            embedding_vector = np.zeros_like(emb_mean)
        if embedding_vector is not None: 
            embedding_matrix[idx] = embedding_vector
            embeddedCount += 1
        else:
            print(word)
            print("$$$")
    print('total embedded:',embeddedCount,'common words')# GloVe向量与词汇集共现词数量
    print("length of word2id:",len(word2id))
    print(len(embedding_matrix))
    return embedding_matrix

emb = embedding_matrix_filteration()

初始模型架构

嵌入层代码

embedding_layer = Embedding(
    vocab_size,
    300,
    weights=[emb],
    trainable=False,
    input_length=sequence_length
)

初始模型代码

from keras import regularizers,layers

model = Sequential()
model.add(embedding_layer)
model.add(Bidirectional(layers.LSTM(512,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(512,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(256,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(256)))#kernel_regularizer=regularizers.l2(0.001)
model.add(Dense(128, activation='relu'))
# model.add(Dropout(0.2))
model.add(Dense(128, activation='relu'))
# model.add(Dropout(0.2))
model.add(Dense(7, activation='softmax'))

初始编译配置

model.compile(optimizer='adam',         
loss='mean-squred-error',
metrics=['accuracy']
)

初始问题表现

训练后训练准确率达到80%时,验证准确率仍然极低,尝试过不同正则化技术、优化器、损失函数,结果均无改善。

更新后情况

将标签类别从7类缩减为3类,即[0,1,0]分别对应正向、中性、负向,已对数据集做了分层采样,但损失仍然较高。

调整后模型代码

model = Sequential()
model.add(embedding_layer)
model.add(Bidirectional(layers.LSTM(16,activation='relu'))) 
model.add(Dropout(0.2))
model.add(Dense(3, activation='softmax'))

更新后编译配置

model.compile( 
optimizer=keras.optimizers.Adam(learning_rate=0.00005),
              loss='categorical_crossentropy',
              metrics = ['accuracy'])

解决方案

数据层面

  • 总样本量仅2183条,7分类任务下每个类别的样本量极少,即使缩减为3分类也建议先做类别分布校验,保证每类样本占比不低于15%,避免长尾类别导致模型拟合偏差。
  • 嵌入层当前设置为不可训练,小样本场景下建议放开嵌入层的训练权限,让GloVe向量适配当前任务的语义特征,可设置较小的学习率避免预训练特征被破坏。
  • 目前仅用了20%数据做验证,建议改用5折交叉验证替代单次train_test_split,避免数据拆分随机性导致的验证集分布偏移。

模型层面

  • 初始模型参数规模过大:4层双向LSTM最大隐层维度达512,总参数量远超过小数据集的拟合需求,本身就极易过拟合。调整后的16维LSTM参数规模合适,可尝试增加一个L2正则项,权重设置为1e-4即可。
  • 初始损失函数选择错误:7分类软标签任务用均方误差损失不合理,分类任务默认用交叉熵损失,即使是软标签也应该用分类交叉熵而不是回归类的MSE,这是初始阶段验证效果极差的核心原因之一。
  • 当前学习率0.00005过低,可上调到1e-4,同时加入早停策略,监控验证集损失,5轮不下降就停止训练,避免过拟合。

训练流程层面

  • 可加入数据增强策略,比如同义词替换、随机掩码部分token,扩充训练样本量,提升模型泛化能力。
  • 验证集上可加入混淆矩阵分析,明确是哪一类的识别准确率低,针对性补充样本或者调整标签规则。

内容的提问来源于stack exchange,提问作者Gautam Goyal

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 06:27:02