基于Doc2Vec+LSTM的情感分类模型预测报错排查及流程验证

一、建模流程合理性分析 #

• Doc2Vec使用逻辑错误：当前将情感标签作为TaggedDocument的tags参数，不符合Doc2Vec的设计逻辑。Doc2Vec的tags应为每个文档的唯一标识（比如索引ID），而非类别标签。用类别标签会让模型直接学习类别向量，而非文档的语义表示，后续训练的高准确率大概率是过拟合导致，泛化能力会很差。
• 输入形状匹配无问题：Doc2Vec生成10维向量后，reshape为(10,1)作为LSTM的输入（对应(timesteps, features)的输入格式），这部分逻辑通顺。
• 标签处理冗余但有效：用LabelEncoder+OneHotEncoder处理标签的逻辑可行，只是可以用Keras的to_categorical简化步骤，不影响功能。

二、预测报错解决方法 #

报错ValueError: y should be a 1d array, got an array of shape () instead.的核心原因：np.argmax(y_pred)返回单个标量值，而label_encoder.inverse_transform()要求输入必须是一维数组。

修正代码 #

只需将预测索引转换成一维数组即可，两种修改方式任选：

方式1：指定axis参数获取一维索引数组

predicted_idx = np.argmax(y_pred, axis=1)
predicted_label = label_encoder.inverse_transform(predicted_idx)
print(predicted_label)

方式2：扩展标量维度为一维数组

predicted_label = label_encoder.inverse_transform(np.expand_dims(np.argmax(y_pred), axis=0))
print(predicted_label)

三、额外优化建议 #

• 修正Doc2Vec训练方式：将tags改为文档唯一ID，确保模型学习语义嵌入：

  documents = [TaggedDocument(words=text.split(), tags=[str(i)]) for i, text in enumerate(data["text"])]
  

• 防止过拟合：Doc2Vec和LSTM的100轮训练极易过拟合，建议加入验证集，或使用Keras的EarlyStopping回调函数终止无效训练。
• 统一预处理逻辑：确保预测时的文本清洗、分词等步骤和训练数据完全一致，避免嵌入向量分布差异影响预测结果。

内容的提问来源于stack exchange，提问作者Sara Almashharawi