构建TensorFlow LSTM模型时遇InvalidArgumentError及ValueError求助

错误1：InvalidArgumentError（序列索引超出Embedding层范围） #

原因 #

Keras的Embedding层input_dim参数定义的是合法索引的上限+1（索引从0开始）。如果你的词汇表最大索引等于input_dim，当序列中出现该索引时，就会触发越界错误。通常是因为：

• 直接将input_dim设为词汇表长度（len(word_index)），但实际词汇索引从1开始，最大索引等于词汇表长度，超出了input_dim的覆盖范围（0到input_dim-1）。
• Tokenizer未正确处理词汇截断，导致序列中出现未纳入词汇表的词索引。

验证方法 #

先检查序列中的最大索引，确认是否超出当前input_dim：

import numpy as np
max_idx = np.max(train_sequences)
print(f"序列最大索引: {max_idx}")
print(f"当前Embedding input_dim: {embedding_layer.input_dim}")

如果max_idx >= embedding_layer.input_dim，说明input_dim设置过小。

错误2：ValueError（Embedding层权重与GloVe形状不兼容） #

原因 #

当你把input_dim设为vocab_size + 1后，Embedding层期望的权重矩阵形状为(vocab_size + 1, embedding_dim)，但加载的GloVe词向量仅覆盖了vocab_size个词（对应索引1到vocab_size），缺少索引0（填充符）对应的向量，导致形状不匹配。

完整解决步骤 #

1. 修正词汇表与Embedding层参数 #

确保input_dim等于词汇表长度+1：

from tensorflow.keras.preprocessing.text import Tokenizer

tokenizer = Tokenizer()
tokenizer.fit_on_texts(train_texts)
word_index = tokenizer.word_index
vocab_size = len(word_index)
# 关键：input_dim设为vocab_size + 1，覆盖0到vocab_size的索引范围
embedding_input_dim = vocab_size + 1
embedding_dim = 100  # 与你的GloVe词向量维度一致（如glove.6B.100d）

2. 重构GloVe权重矩阵 #

添加索引0对应的向量（通常用全0填充，因为0是填充符，无需语义）：

import numpy as np

# 加载GloVe词向量到字典
glove_path = "glove.6B.100d.txt"
glove_embeddings = {}
with open(glove_path, encoding="utf8") as f:
    for line in f:
        values = line.split()
        word = values[0]
        vec = np.asarray(values[1:], dtype="float32")
        glove_embeddings[word] = vec

# 构建适配input_dim的权重矩阵
embedding_matrix = np.zeros((embedding_input_dim, embedding_dim))
for word, idx in word_index.items():
    # 索引从1开始，对应word_index的编号
    embedding_vec = glove_embeddings.get(word)
    if embedding_vec is not None:
        embedding_matrix[idx] = embedding_vec
# 索引0保持全0，对应填充符

3. 定义正确的Embedding层 #

from tensorflow.keras.layers import Embedding

embedding_layer = Embedding(
    input_dim=embedding_input_dim,
    output_dim=embedding_dim,
    weights=[embedding_matrix],
    input_length=max_sequence_length,  # 你的序列固定长度
    trainable=False  # 根据需求设置是否允许微调预训练向量
)

4. 验证数据合法性 #

再次检查训练/测试序列的最大索引，确保没有超出词汇表范围：

assert np.max(train_sequences) <= vocab_size, "序列中存在超出词汇表的索引"

如果断言失败，检查Tokenizer是否遗漏了某些词，或是否在texts_to_sequences后出现了异常索引。

内容的提问来源于stack exchange，提问作者Anmol Kumar