参数充足的Autoencoder为何无法实现完美重建？

核心问题拆解 #

你搭建的Autoencoder在输入为one-hot编码时，即使把中间层尺寸设为和输入一致，也无法实现接近0的损失，不同层尺寸最终损失几乎相同，用MSE也无法完美拟合，主要问题出在以下几个方面：

1. CrossEntropyLoss的使用逻辑错误 #

• PyTorch的CrossEntropyLoss要求：第一个参数是模型原始输出（未经过softmax），第二个参数是类别索引（不是one-hot向量）。你现在把经过softmax的输出和one-hot输入直接传入，完全违背了损失函数的设计逻辑。
• 额外的softmax叠加会导致损失计算完全偏离预期——CrossEntropyLoss内部会自动执行log_softmax操作，两次softmax会让概率分布过度压缩，模型无法正确拟合标签。

2. 网络结构的信息损耗 #

• 编码器最后一层的LeakyReLU会破坏恒等映射的可能性：即使中间层尺寸和输入一致，LeakyReLU的非线性会截断部分神经元输出（接近0的部分），导致解码器无法完整恢复原始输入信息。
• 解决方式：移除编码器最后一层的激活函数，改用线性激活，确保编码器能保留输入的完整信息。

3. One-hot输入的拟合特性限制 #

• One-hot向量是高度稀疏的，大部分元素为0，仅少数为1。MSE损失对这类数据的拟合敏感度低——大量0元素会拉低损失值，掩盖模型对关键1元素的预测误差。
• 优化方向：给one-hot中为1的位置设置损失权重，或改用更适配稀疏数据的BCEWithLogitsLoss（无需提前做softmax）。

4. 训练流程的细节疏漏 #

• 检查输入输出维度是否完全对齐：输入是16*4个one-hot（共40类），形状应为(batch_size, 64, 40)，模型经过Unflatten后的输出必须严格匹配该形状，否则损失计算会出现隐性错误。
• ReduceLROnPlateau调度器需监控验证集损失，若仅监控训练集损失，可能过早降低学习率，导致模型无法收敛到最优解。

修正后的关键代码示例 #

调整CrossEntropyLoss的使用方式 #

将one-hot标签转为类别索引，模型输出无需提前softmax：

# 假设train_inputs形状为(batch_size, 64, 40)，提取one-hot对应的类别索引
train_labels = train_inputs.argmax(dim=2)  # 形状变为(batch_size, 64)
outputs = autoencoder(train_inputs)
loss = criterion(outputs, train_labels)

修改编码器结构（移除最后一层激活） #

self.encoder = nn.Sequential(
    nn.Flatten(),
    nn.Linear(measure_size*4*categories, first_mid_size, dtype=the_dtype),
    nn.LeakyReLU(0.02),
    nn.Linear(first_mid_size, second_mid_size, dtype=the_dtype),
    # 移除最后一层LeakyReLU，保留线性输出
)

改用BCEWithLogitsLoss适配one-hot标签 #

criterion = nn.BCEWithLogitsLoss()
# 模型直接输出原始值，无需softmax
outputs = autoencoder(train_inputs)
loss = criterion(outputs, train_inputs)

内容的提问来源于stack exchange，提问作者viraptor