NAS任务中标签编码方式不同导致精度差异是否正常？

核心结论 #

这种精度差异完全不正常——在标准多分类任务中，独热编码（OHE）标签和整数标签只是标签格式的不同，理论上模型精度应该几乎一致。出现如此大的差距，必然是代码或AutoKeras配置存在问题。

可能的原因 #

• 损失函数错配：这是最常见的原因。使用OHE标签时，多分类任务应搭配categorical_crossentropy损失；而整数标签对应sparse_categorical_crossentropy。如果你的OHE版本脚本中，AutoKeras自动选择了错误的损失（比如误用了sparse_categorical_crossentropy），会导致损失计算逻辑完全错误，模型无法有效学习，最终精度暴跌。
• AutoKeras的任务类型误判：AutoKeras会根据输入数据自动推断任务类型。当传入OHE标签时，它可能误将任务识别为多输出回归任务（而非多分类），从而使用线性激活函数和MSE损失，导致模型输出无法匹配分类任务的概率分布要求；而整数标签能让它正确识别为多分类任务，自动配置softmax输出层和对应损失。
• OHE标签加载/处理错误：检查你的OHE版本脚本中，标签的加载是否正确：
  • 确认后3列被正确提取为标签，形状是否为(样本数, 3)，而非(样本数, 1, 3)或其他错误形状；
  • 验证OHE标签的取值是否符合规范（每一行只有一个1，其余为0），是否存在标签编码错误（比如某一类的OHE格式混乱）。
• 输出层配置差异：AutoKeras针对不同标签格式可能生成不同的输出层。比如OHE版本可能没有自动添加softmax激活层，导致输出不是合法的概率分布，无法和OHE标签有效匹配；而整数标签版本则自动配置了softmax层，适配分类任务。

排查步骤 #

1. 检查两个脚本中AutoKeras的损失函数设置：如果是手动指定损失，确认OHE版本用的是categorical_crossentropy，整数标签版本用sparse_categorical_crossentropy；如果是AutoKeras自动选择，打印模型的损失函数配置进行对比。
2. 打印并验证OHE标签的样本数据：确认标签形状、取值是否符合多分类任务的OHE规范。
3. 查看两个训练完成的模型结构：对比输出层的激活函数、输出维度是否正确——多分类任务的输出层应是3个神经元+softmax激活（对应OHE标签），或同样的输出层搭配稀疏交叉熵（对应整数标签）。
4. 手动指定损失函数和输出层：在OHE版本脚本中，强制指定loss='categorical_crossentropy'并确保输出层使用softmax激活，重新训练看精度是否回升。

内容的提问来源于stack exchange，提问作者user366312