构建AI生成文本检测LSTM模型遇输入维度不匹配错误求助

错误核心原因 #

报错提示LSTM层期望3维输入（(batch_size, sequence_length, feature_dim)），但实际收到的是2维的(None,10)，说明数据生成器输出的输入数据形状与模型定义不匹配，而非模型层参数设置错误。

从你的模型结构看，Embedding层定义的input_length=1000，正常情况下它应该接收形状为(batch_size, 1000)的整数序列输入，输出(batch_size, 1000, 10)的3维张量供LSTM层处理。但实际输入到LSTM的是(None,10)，说明生成器输出的输入数据形状不符合要求。

具体解决步骤 #

1. 验证数据生成器的输出形状 #

先手动获取生成器的一个批次，检查输入数据的形状：

batch_x, batch_y = next(my_training_batch_generator)
print("输入数据形状:", batch_x.shape)
print("标签形状:", batch_y.shape)

正常情况下，batch_x.shape应该是(20, 1000)（20个样本，每个样本1000个字符对应的词汇表索引），batch_y.shape是(20, 1)（二分类标签）。

如果输出的batch_x.shape是(20,10)或者其他非(20,1000)的形状，这就是问题根源。

2. 修正数据生成器的输出 #

调整生成器，确保每个批次输出的输入序列长度为1000，与Embedding层的input_length参数一致：

• 如果是字符级处理，每个样本要包含1000个字符对应的索引
• 检查生成器中是否有误将特征维度和序列长度搞反的情况，比如输出了(batch_size, feature_dim)而非(batch_size, sequence_length)

3. 统一模型参数的一致性 #

注意到你提供的模型代码中LSTM层units=1000，但模型结构显示LSTM的输出维度是100，说明实际运行的代码和你贴出的代码不一致，建议统一参数，避免混淆。

4. 无需手动设置LSTM的input_shape #

Embedding层已经输出了符合LSTM要求的3维张量(None, 1000, 10)，LSTM层会自动适配这个输入形状，不需要额外设置input_shape参数，之前手动设置的错误参数反而可能导致混淆。

修正后的示例代码参考 #

假设生成器已正确输出(20,1000)的输入数据，模型代码可以保持如下：

model = Sequential([
    Embedding(input_dim=10510, output_dim=10, input_length=1000),
    LSTM(units=100),  # 和模型结构显示的units一致
    Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(my_training_batch_generator, epochs=1)

内容的提问来源于stack exchange，提问作者SimpleRandomJoe