TensorFlow回归模型成本不更新问题排查求助

看你的训练输出，成本先跳变后彻底停滞，结合代码和数据细节，核心问题集中在这几点，直接导致了梯度消失或更新异常：

1. 输出层错误使用ReLU激活函数 #

你在输出层用了tf.nn.relu(Z2)，但这是回归任务（预测连续的销售额），完全不适用ReLU：

• 回归任务的输出层应该用线性激活（即不添加任何激活函数），因为你需要模型输出连续的数值，而非把结果截断为非负（虽然销售额本身非负，但线性输出训练到位后也能得到合理的非负值，反而ReLU会直接引发梯度问题）。
• 初始训练时，Z2 = W2*A1 + b2的结果很可能为负，ReLU会直接把A2置为0。此时A2 - Y的误差极大，但ReLU在输出为0时的导数是0，梯度直接消失，参数再也无法更新——这就是成本不再变化的直接原因。

2. 成本函数用reduce_sum而非reduce_mean #

你的样本量高达33万+，用tf.reduce_sum(tf.square(y_hat - y))会让成本值量级飙升到1e17甚至更高：

• 超大的成本值会引发梯度爆炸，参数更新一步就可能让模型输出彻底偏离（比如你看到的第二次成本跳到9e32），之后ReLU又把输出压到0，梯度归零，训练直接停滞。
• 正确做法是用tf.reduce_mean(tf.square(y_hat - y))，这样成本量级和单样本误差匹配，优化器能稳定工作。

3. 目标变量Y未做归一化 #

你已经用StandardScaler归一化了X，但Y的数值是几十万甚至几百万量级：

• 输入和输出的量级差异过大，会导致权重更新极不稳定，要么步长太小没效果，要么步长太大直接崩掉。
• 建议对Y也做归一化（同样用StandardScaler），训练完成后再反归一化得到真实的销售额预测值。

4. 学习率与优化器选择不合适 #

当前learning_rate=0.0001，结合reduce_sum的成本来说其实偏大，但改成reduce_mean后这个学习率又可能偏小。更稳妥的是直接用你注释掉的Adam优化器，它会自动调整学习率，稳定性远高于梯度下降。

修改后的关键代码片段 #

修正前向传播（输出层去掉ReLU） #

def forward_propagation(X, parameters):
    W1 = parameters['W1']
    b1 = parameters['b1']
    W2 = parameters['W2']
    b2 = parameters['b2']
    
    Z1 = tf.add(tf.matmul(W1, X), b1)
    A1 = tf.nn.relu(Z1)
    Z2 = tf.add(tf.matmul(W2, A1), b2)
    A2 = Z2  # 回归任务用线性激活，移除ReLU
    return A2

修正成本函数（改用reduce_mean） #

def compute_cost(y_hat, y):
    cost = tf.reduce_mean(tf.square(y_hat - y))
    return cost

对Y做归一化处理 #

from sklearn.preprocessing import StandardScaler

# 注意Y的形状是(1, m)，需要转成(m, 1)才能适配StandardScaler
scaler_Y = StandardScaler()
Y_train_scaled = scaler_Y.fit_transform(Y_train.T).T
Y_test_scaled = scaler_Y.transform(Y_test.T).T

# 训练时传入归一化后的Y，预测后再反归一化还原真实值：
# y_pred = scaler_Y.inverse_transform(y_hat.T).T

更换优化器并调整学习率 #

# 用Adam优化器，学习率尝试0.001
optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cost)

按照这些修改后，你应该能看到成本稳步下降，模型开始正常训练了。

内容的提问来源于stack exchange，提问作者Robert Whiffin