神经网络（深度学习）中分类目标变量的处理方案咨询

20%的准确率刚好对应5类随机猜测的概率，说明模型完全没有从数据中学习到有效模式。结合你的目标变量处理方式和模型结构，给出以下关键解决方向：

1. 修正损失函数匹配目标变量编码方式 #

如果目标变量是独热编码（5列二进制列），必须使用categorical_crossentropy作为损失函数——这是最常见的错误点，误用其他损失函数会导致模型无法学习。

编译模型的正确代码示例：

model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

如果想简化目标变量处理，也可以把独热编码转回整数标签（比如给每个类别分配0-4的整数，Common cold=0、Influenza=1…Other=4），然后使用sparse_categorical_crossentropy损失函数，这样无需维护5列独热编码，减少数据维度：

# 假设独热编码数组为y_onehot_train，转整数标签
import numpy as np
y_train = np.argmax(y_onehot_train, axis=1)
y_test = np.argmax(y_onehot_test, axis=1)

# 编译时更换损失函数
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

2. 调整模型结构避免过拟合或欠拟合 #

你的模型用了两层512神经元的Dense层，对于20维的输入来说过于庞大，容易导致过拟合（尤其是数据集较小时），同时dropout比例设置可能不合理：

• 减少神经元数量：先从128、64这类较小的规模开始验证模型的学习能力
• 调整dropout比例：第一个dropout的0.5会丢弃过多信息，可改为0.2或0.3；第二个dropout0.2可以保留
• 添加L2正则化：限制权重大小，防止模型过度拟合训练数据

调整后的模型示例：

from tensorflow.keras import regularizers
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

model = Sequential()
model.add(Dense(units=128, activation='relu', input_shape=(20,),
                kernel_regularizer=regularizers.l2(0.01)))
model.add(Dropout(0.2))
model.add(Dense(units=64, activation='relu',
                kernel_regularizer=regularizers.l2(0.01)))
model.add(Dropout(0.2))
model.add(Dense(units=5, activation='softmax'))

3. 优化训练参数促进模型收敛 #

• 增加训练轮次：如果之前训练轮次太少，模型可能还没收敛，尝试训练50-100轮，同时加入EarlyStopping回调，避免过拟合：

from tensorflow.keras.callbacks import EarlyStopping

early_stop = EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)
history = model.fit(X_train, y_train,
                    epochs=100,
                    batch_size=32,
                    validation_split=0.2,
                    callbacks=[early_stop])

• 调整batch size：数据集较小时用8或16，数据集大时适当增大，找到适合的批量大小
• 调整学习率：默认Adam的0.001可能不合适，尝试缩小到0.0001或增大到0.01，用学习率调度器动态调整更灵活：

from tensorflow.keras.optimizers import Adam

opt = Adam(learning_rate=0.0001)
model.compile(optimizer=opt, loss='categorical_crossentropy', metrics=['accuracy'])

4. 验证数据基础分布 #

虽然你确认预处理无误，但仍需检查：

• 训练集和测试集的类别分布是否一致：如果某类在训练集中占比极低，模型无法学习到该类特征
• 输入特征是否归一化：所有输入特征必须做标准化（StandardScaler）或归一化（MinMaxScaler），数值范围差异大会导致模型权重更新失衡

内容的提问来源于stack exchange，提问作者Angelina