Keras神经网络在玩具数据集上准确率低、收敛慢的问题排查

我先理清楚你的核心问题：
你有一个线性可分的玩具数据集（两类样本分布完全可区分），用Keras构建的神经网络要么前期准确率卡在50%，要么收敛速度极慢，但Logistic Regression却能直接达到100%准确率。你先后尝试了两种结构：

1. 双输出神经元+softmax激活，搭配categorical_crossentropy损失：前72轮准确率一直是50%，直到98轮才收敛到100%
2. 单输出神经元+sigmoid激活，搭配binary_crossentropy损失：依然要300轮左右才收敛到100%

下面我来拆解为什么会出现这种情况，以及怎么解决：

一、双输出softmax方案收敛慢的本质原因 #

对于二分类任务，用2个输出+softmax属于冗余设计，而且会导致初始阶段梯度信号极弱：

• 当模型权重随机初始化时，两个输出的softmax概率会趋近于0.5（归一化后的结果），此时categorical_crossentropy的梯度值非常小，权重更新几乎停滞，所以前期准确率一直卡在50%（相当于随机猜测）
• 加上你用了sigmoid作为隐藏层激活，这个函数在输入绝对值较大时会进入饱和区，梯度趋近于0，进一步拖慢了权重更新的速度

而Logistic Regression本质是无隐藏层的单输出+sigmoid，对应的binary_crossentropy在初始阶段的梯度信号更强，能快速推动权重向正确方向调整，所以收敛极快。

二、单输出sigmoid方案仍收敛慢的可能因素 #

即使换成了更适合二分类的结构，依然收敛慢，大概率和这几点有关：

• 默认学习率太小：你用的Adam优化器默认学习率是0.001，对于这种极简单的线性可分任务，这个步长太小，权重更新太慢
• 特征未标准化：如果你的输入特征尺度不一致，优化器需要更长时间来适配不同尺度的特征，导致收敛变慢
• sigmoid的饱和问题：隐藏层的sigmoid激活依然可能导致梯度消失，尤其是在训练初期

三、快速收敛的调整方案 #

针对你的场景，这几个调整能让模型在十几轮内就收敛到100%准确率：

方案1：优化单输出模型的关键参数 #

from sklearn.preprocessing import StandardScaler
from tensorflow.keras.optimizers import Adam

# 第一步：特征标准化（非常关键）
scaler = StandardScaler()
x_train = scaler.fit_transform(x_train)

# 第二步：调整模型结构与优化器
model = Sequential()
# 把隐藏层的sigmoid换成relu，避免饱和问题
model.add(Dense(units=2, activation='relu', input_shape=(nr_feats,)))
# 单输出+sigmoid对应二分类
model.add(Dense(units=1, activation='sigmoid'))
# 调高Adam的学习率，加快权重更新
model.compile(loss='binary_crossentropy', optimizer=Adam(learning_rate=0.01), metrics=['accuracy'])

# 训练：十几轮就能到100%准确率
model.fit(x_train, y_train, epochs=20, batch_size=32, verbose=True)

方案2：用Logistic Regression等效的极简结构 #

既然数据是线性可分的，完全不需要隐藏层，直接用和Logistic Regression一致的结构，收敛速度会和sklearn的实现一样快：

model = Sequential()
model.add(Dense(units=1, activation='sigmoid', input_shape=(nr_feats,)))
model.compile(loss='binary_crossentropy', optimizer=Adam(learning_rate=0.01), metrics=['accuracy'])

方案3：如果非要用双输出softmax结构 #

虽然没必要，但可以通过调高学习率来加速收敛：

model = Sequential()
model.add(Dense(units=2, activation='relu', input_shape=(nr_feats,)))
model.add(Dense(units=nr_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer=Adam(learning_rate=0.01), metrics=['accuracy'])

把隐藏层换成relu，同时调高学习率，能大幅缩短收敛时间。

总结 #

你的核心问题不是模型结构的表达能力不足，而是初始梯度信号弱和优化器参数不匹配导致的收敛缓慢。通过标准化特征、调整学习率、更换激活函数这几个简单操作，就能让模型快速达到最优性能。

内容的提问来源于stack exchange，提问作者Anton