ANN模型隐藏层与节点数确定方法及低准确率问题排查

• 隐藏层数量：普通结构化表格数据优先从浅模型起步，1~2个隐藏层即可覆盖绝大多数非线性关联，3层及以上仅当特征存在明确的多层级交叉业务逻辑时再尝试，深层网络在表格任务上极易过拟合，反而拉低泛化效果。
• 节点数设置：遵循「维度逐层收缩」原则，禁止出现你当前代码里32→64→128逐层加宽的结构——这类升维结构会在信息传递中引入大量冗余噪声，最终压缩到输出维度时会丢失有效信号。第一层隐藏层节点数取输入维度的0.5_{2倍即可（你的输入是71维，可选32/64/128），后续层节点数逐层递减，控制为前一层节点数的1/2}2/3，最终接与分类数对齐的输出层即可。
• 调参顺序：先固定1个隐藏层，在[32,64,128]区间测试节点数，取验证集效果最优的配置；如果效果达不到预期再加第二个隐藏层，按递减规则设节点数测试；不要一开始就堆3层以上结构，调参成本高且容易出现收敛问题。

• 结构逻辑错误：3层隐藏层节点数逐层递增，参数量无意义膨胀，是准确率低的核心结构问题。
• 权重初始化不合理：所有层统一用normal初始化，适配sigmoid/tanh激活，搭配relu时极易出现梯度消失、神经元死亡问题，relu层应使用he_normal初始化。
• 训练流程缺失：训练时未拆分验证集，未配置早停、学习率衰减机制，固定训100轮很容易出现训练集过拟合、测试集准确率上不去的问题。
• 数据集维度疑似颠倒：你标注的测试集维度为(3571, 1), (3571, 71)，正常顺序应为特征在前标签在后，也就是测试集特征形状为(样本数, 特征数)=(3571,71)、标签形状为(3571,1)，如果特征标签传反，模型完全无法学到有效规律。
• 缺少特征预处理：神经网络对特征尺度极其敏感，表格数据如果不做标准化/归一化，不同量纲的特征会导致模型收敛效率极低、效果差。
• 类别权重计算存在隐患：你当前计算类别权重时传入的y是全量Y的event_type，没有和训练集对齐，如果测试集类别分布和训练集不一致，会导致权重偏移。

1. 先完成数据校验与预处理

• 确认训练、测试集的特征、标签维度匹配：X_train形状为(353512,71)、Y_train为(353512,1)，X_test为(3571,71)、Y_test为(3571,1)，杜绝特征标签传反的低级错误。
• 对所有连续特征做标准化处理，类别特征完成编码后再与连续特征拼接，禁止直接输入量纲差异过大的原始特征。

2. 用修正后的基础模型训练，先跑效果基线

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout
from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau
from sklearn.preprocessing import StandardScaler
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
from sklearn.utils import class_weight

# 特征标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 修正后的模型结构，从2层隐藏层起步
def build_model(hidden1_units=64, hidden2_units=32, dropout_rate=0.2):
    model = Sequential()
    model.add(Dense(hidden1_units, input_dim=71, activation='relu', kernel_initializer='he_normal'))
    model.add(Dropout(dropout_rate))
    model.add(Dense(hidden2_units, activation='relu', kernel_initializer='he_normal'))
    model.add(Dropout(dropout_rate))
    model.add(Dense(9, activation='softmax', kernel_initializer='glorot_uniform'))
    model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    return model

# 训练回调配置
callbacks = [
    EarlyStopping(monitor='val_accuracy', patience=10, restore_best_weights=True, verbose=1),
    ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=5, min_lr=1e-6, verbose=1)
]

# 类别权重仅用训练集标签计算
y_train_flat = Y_train.values.ravel()
class_weights = class_weight.compute_class_weight(
    class_weight='balanced',
    classes=np.unique(y_train_flat),
    y=y_train_flat
)
class_weights = dict(enumerate(class_weights))

ann_model = KerasClassifier(
    build_fn=build_model,
    epochs=100,
    batch_size=128,
    class_weight=class_weights,
    validation_split=0.1
)
f_model = ann_model.fit(
    X_train_scaled,
    y_train_flat,
    callbacks=callbacks,
    validation_data=(X_test_scaled, Y_test.values.ravel())
)

3. 按固定顺序调参

• 跑完基线后如果训练集、测试集准确率都偏低（欠拟合），将第一层节点调整为128、第二层调整为64，适当将dropout率降到0.1再测试。
• 如果训练集准确率高、测试集准确率低（过拟合），将节点数调整为32→16，dropout率提到0.3，或给全连接层加L2正则项。
• 只有当2层结构效果达到瓶颈时，再考虑加第三层隐藏层，节点数设置为第二层的1/2，比如128→64→32，始终保持维度递减结构。

内容的提问来源于stack exchange，提问作者Hrushi