Deeplearning4J二分类逻辑回归模型MultiLayerConfiguration配置优化咨询

现有建模的不合理之处 #

当前的建模配置存在多处明显缺陷，是模型完全无法收敛、仅输出标签0的核心原因：

1. 权重初始化错误：所有层使用UniformDistribution(0,1)的初始化策略，输入特征本身取值为0~1，经过权重计算后输出值过大，会直接让sigmoid激活进入饱和区，梯度几乎为0，出现梯度消失问题，参数完全无法更新。
2. 隐藏层激活函数选择不合理：多层网络叠加使用sigmoid激活，本身就极易发生梯度消失，训练难度极高。
3. 优化器配置效率低：使用SGD优化器搭配0.01的学习率，收敛速度过慢，很容易陷入局部最优。
4. 结构冗余：30维输入的二分类任务，叠加2层50神经元的隐藏层属于结构冗余，反而提升训练难度。

具体优化调整方案 #

按照以下优先级调整配置即可解决当前问题：

• 更换权重初始化策略：将所有层的权重初始化替换为XavierUniform（搭配sigmoid激活）或HeUniform（搭配ReLU激活），禁止使用自定义0~1区间的均匀分布。
• 替换隐藏层激活函数：将两层DenseLayer的激活从Activation.SIGMOID更换为Activation.RELU或Activation.LEAKYRELU，从根源上避免梯度消失问题。
• 升级优化器：将SGD优化器替换为Adam，初始学习率设置为0.001，收敛速度和效果会远优于当前配置。
• 优化输出层配置：将输出层nOut改为1，激活更换为Activation.SIGMOID，损失函数更换为LossFunctions.LossFunction.XENT（二元交叉熵），更适配二分类场景，标签无需做onehot编码可直接使用0/1原值。
• 调整训练参数：6000条样本批次大小500属于合理范围，可将训练轮数调整为20_{50轮，避免提前停止训练；后续新增训练数据时，可同步将批次大小扩大到1000}2000。
• （可选）简化基线结构：初期可直接去掉两层隐藏层，使用30输入→1输出的纯逻辑回归结构，先跑通基线效果再尝试增加隐藏层提升精度。

内容的提问来源于stack exchange，提问作者Unprotesting