向LSTM的padded_sequence添加情感数组及Flask预测维度错误排查

问题根源 #

训练阶段用批量数据时，文本padded序列形状为(batch_size, max_seq_len)，Vader情感数组形状为(batch_size, 3)，沿axis=1拼接后维度对齐；但本地预测单条文本时，容易出现缺少batch维度或维度长度不一致的情况，比如文本序列变成(248,)（无batch轴）、情感数组为(1,3)，导致维度0长度（248 vs 1）不匹配。

具体解决步骤 #

1. 统一添加batch维度 #

确保预测时两个输入都包含batch维度（即使只有单条数据）：

• 文本padded序列：通过tf.expand_dims或直接用pad_sequences处理列表形式的输入，得到形状(1, max_seq_len)
• 情感数组：将Vader输出的neg/neu/pos值包装成二维数组，得到形状(1, 3)

2. 保持预处理逻辑完全一致 #

• 训练时的Tokenizer必须保存（用tokenizer.to_json()），预测时加载复用，且pad_sequences的maxlen要与训练时完全相同
• Vader情感计算逻辑和训练阶段一致：单条文本直接计算neg/neu/pos，不要做额外的维度变换

3. 正确拼接代码示例 #

# 假设训练时设置的max_seq_len为248
import tensorflow as tf
import numpy as np
from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer

# 加载训练好的tokenizer和模型
tokenizer = tf.keras.preprocessing.text.tokenizer_from_json(open("tokenizer.json").read())
model = tf.keras.models.load_model("lstm_sentiment_model.h5")

# 处理单条测试文本
test_text = "This is a sample tweet for prediction"
# 文本转序列并padding
seq = tokenizer.texts_to_sequences([test_text])
padded_seq = tf.keras.preprocessing.sequence.pad_sequences(seq, maxlen=248)  # 形状(1,248)
# 计算情感值
analyzer = SentimentIntensityAnalyzer()
sent_scores = analyzer.polarity_scores(test_text)
sent_array = np.array([[sent_scores['neg'], sent_scores['neu'], sent_scores['pos']]])  # 形状(1,3)
# 拼接输入
input_data = np.concatenate([padded_seq, sent_array], axis=1)  # 形状(1, 251)
# 执行预测
prediction = model.predict(input_data)

4. 排查常见错误点 #

• 避免误将预测时的padded序列做flatten操作，导致丢失batch维度
• 确认训练和预测时的拼接轴都是axis=1，不要混用其他轴

内容的提问来源于stack exchange，提问作者maneesha14w