基于Keras构建简易翻译模型时model.fit触发IndexError错误排查求助

核心错误原因 #

• 数据集拆分逻辑完全错误：你写的x_train, x_test = dataset[["Afrikaans Woorde", "English Words"]]实际是把DataFrame的两个列名分别赋值给了x_train、x_test，而非按样本比例拆分训练/测试集，后续转numpy数组后维度完全不符合模型输入要求，是触发IndexError的直接原因。
• 未做文本向量化处理：神经网络无法直接接收字符串类型的文本输入，你直接把原始词汇字符串传入模型，输入数据格式不匹配。
• 损失函数使用错误：首先拼写错误，正确的稀疏分类交叉熵是sparse_categorical_crossentropy，其次该损失适用于多分类任务，你的输出层只有1个神经元，完全不匹配。
• 任务目标与模型结构不匹配：翻译属于序列生成任务，你现在用的全连接网络+单神经元输出的结构完全不适用于翻译场景，且你设置的标签是字母数量、共同字母，和翻译目标无关。

修复步骤 #

1. 正确拆分训练测试集，使用sklearn.model_selection.train_test_split按样本比例拆分：

from sklearn.model_selection import train_test_split
# 先确定特征和标签，示例先兼容你现有标签逻辑
X = dataset[["Afrikaans Woorde", "English Words"]]
y = dataset[["Total Letter Amount", "Incommon Letters"]]
# 按8:2拆分训练测试集
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

2. 对文本特征做向量化，将字符串转为数值张量：

# 示例使用Keras自带的TextVectorization层做向量化
vectorizer = tfk.layers.TextVectorization(output_mode='int', output_sequence_length=10)
vectorizer.adapt(np.concatenate([X["Afrikaans Woorde"].values, X["English Words"].values]))
# 转换训练测试集
x_train = vectorizer(x_train.values)
x_test = vectorizer(x_test.values)
# 标签转numpy数组
y_train = np.array(y_train)
y_test = np.array(y_test)

3. 修正损失函数和输出层：如果你的任务是预测字母数量这类回归任务，输出层神经元数调整为和标签列数一致，损失用均方误差：

model = tfk.models.Sequential()
model.add(tfk.layers.Flatten())
model.add(tfk.layers.Dense(128, activation="relu"))
model.add(tfk.layers.Dense(128, activation="relu"))
# 输出层对应2个标签列
model.add(tfk.layers.Dense(2))
# 编译用回归损失
model.compile(optimizer="adam", loss="mse", metrics=["mae"])

4. 如果要实现翻译功能，需要替换成序列到序列（Seq2Seq）结构，增加嵌入层、LSTM/Transformer层，用交叉熵损失训练，不能使用当前的全连接结构。

内容的提问来源于stack exchange，提问作者Zayden Micheal James