已尝试多种方法后，复杂数据集深度学习模型准确率提升咨询

特征工程进阶 #

• 特征交叉与组合：手动构造连续特征分箱+类别特征的交叉项，或借助Wide&Deep等结构的Embedding层自动学习特征交互关系，挖掘数据中隐藏的关联规律
• 特征转换优化：对长尾分布的连续特征用对数/幂变换压缩范围；用RobustScaler替代标准归一化，降低异常值干扰；类别特征可尝试目标编码（需配合交叉验证避免过拟合）
• 领域特征注入：结合业务场景构造专属特征，比如时间序列的滑动窗口统计、用户行为的频次/时长特征，这类特征往往比通用特征更能捕捉核心模式

模型结构与调优 #

• 架构迭代升级：基础MLP模型可加入注意力机制，让模型自动聚焦高价值特征；也可尝试混合模型，将深度学习模型与传统模型的输出做Stacking融合
• 超参数贝叶斯优化：用Optuna或Hyperopt工具替代网格搜索，针对性调优学习率、batch size、正则化系数、网络规模等核心参数；搭配余弦退火学习率调度器，动态调整训练节奏
• 正则化增强：组合L1/L2正则化与Dropout、DropConnect；严格使用早停（Early Stopping）监控验证集性能，避免过拟合

不平衡数据处理补充 #

• 类别权重加权：在损失函数中为少数类设置更高权重（如Keras的class_weight参数），或自定义加权交叉熵损失
• 自适应采样：采用NearMiss欠采样保留与少数类相似的多数类样本，或根据模型预测错误率动态调整采样比例
• 专用损失函数：用Focal Loss降低易分类样本的权重，让模型聚焦难分类的少数类；或尝试Dice Loss、Tversky Loss这类对不平衡数据更友好的损失函数

训练策略优化 #

• 分层交叉验证：采用分层K折交叉验证，确保每折数据的类别分布与原数据集一致，避免验证结果偏差
• 半监督学习：利用未标注数据做伪标签训练，或用对比学习预训练模型后再微调，充分挖掘数据价值
• 集成学习：训练多个不同初始化或不同结构的深度学习模型，通过投票、加权平均融合结果，提升模型鲁棒性

内容的提问来源于stack exchange，提问作者Menna