使用Keras构建AI聊天模型时维度不匹配错误的排查与解决

问题背景 #

我正在学习制作AI聊天机器人，用Python和TensorFlow实现。先用小文本验证脚本可行，改用更大文本输入后，预处理、分词、序列填充步骤都正常，但训练时出现错误。

输入文本内容 #

This compiler has no dedicated message for sign compare.
Code lines with implicit cast due to sign conversion usually generate an informational message "C0005 (I) Precision lost".Renesas sign -compare equivalent

预处理结果（第二、三行处理后） #

['code', 'line', 'implicit', 'cast', 'due', 'sign', 'conversion', 'usually', 'generate', 'informational', 'message', '``', 'c0005']

分词词典 #

{'<OOV>': 1, 'sign': 2, 'message': 3, 'compiler': 4, 'dedicated': 5, 'compare': 6, 'code': 7, 'line': 8, 'implicit': 9, 'cast': 10, 'due': 11, 'conversion': 12, 'usually': 13, 'generate': 14, 'informational': 15, '``': 16, 'c0005': 17, 'precision': 18, 'lost': 19, "''": 20, '.renesas': 21, '-compare': 22, 'equivalent': 23}

生成的序列 #

[[4, 5, 3, 2, 6], [7, 8, 9, 10, 11, 2, 12, 13, 14, 15, 3, 16, 17], [18, 19, 20, 21, 2, 22, 23]]

填充后的序列 #

[[ 4  5  3  2  6  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0]
 [ 7  8  9 10 11  2 12 13 14 15  3 16 17  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0]
 [18 19 20 21  2 22 23  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0
    0  0  0  0]]

训练代码 #

training_data = padded_sequences[:training_size] 
training_labels = padded_sequences[:training_size]

history = model.fit(training_data, training_labels,batch_size=1, epochs=num_epochs, verbose=3)

错误信息 #

ValueError: labels.shape must equal logits.shape except for the last dimension.
Received: labels.shape=(100,) and logits.shape=(1, 100)

错误原因解释 #

这个错误是TensorFlow序列建模任务的常见形状不匹配问题：

1. 聊天机器人的文本生成属于自回归任务，模型输出的logits（预测结果）形状应为(batch_size, sequence_length, vocab_size)，但你传入的labels被压缩成了一维的(100,)，而logits是二维的(1, 100)，两者维度无法对齐。
2. 直接将padded_sequences同时作为输入和标签的做法本身有误——自回归任务需要让模型学习"用前n个词预测第n+1个词"，输入和标签需要做移位处理，而非完全相同。

修复方案 #

1. 修正输入与标签的移位关系 #

将输入序列去掉最后一个词，标签序列去掉第一个词，确保每个位置的输入对应下一个位置的预测目标：

# 输入：取每个序列的前n-1个词
training_data = padded_sequences[:training_size, :-1]
# 标签：取每个序列的后n-1个词
training_labels = padded_sequences[:training_size, 1:]

2. 确保标签维度与输入一致 #

检查代码中是否有对training_labels做扁平化（比如flatten()）的操作，若有则删除。训练前打印维度确认：

print(training_data.shape)  # 应为 (batch_size, seq_len-1)
print(training_labels.shape)  # 应与输入维度完全相同

3. 适配模型损失函数 #

自回归任务推荐使用SparseCategoricalCrossentropy损失函数，它接受整数型标签，无需做one-hot编码，且能自动匹配logits的形状：

model.compile(
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer='adam',
    metrics=['accuracy']
)

4. 确认模型输出层设置 #

模型最后一层的输出维度必须等于词汇表大小（vocab_size），比如：

model.add(tf.keras.layers.Dense(vocab_size))

内容的提问来源于stack exchange，提问作者user4590913