TensorFlow模型对不同输入输出相同结果的解决求助

你的模型对所有输入输出相同结果，核心原因是网络无法有效学习输入与输出的映射关系，结合代码和输出来看，主要问题集中在激活函数、网络结构、训练配置这几个方面，以下是具体修复步骤：

1. 替换激活函数，解决梯度消失 #

深层网络中sigmoid激活函数容易导致梯度消失（输出趋近于0或1时，梯度几乎为0，权重无法更新），而且其输出范围是(0,1)，会严重限制后续层的信息传递，无法拟合你数据中140+的目标值。

把隐藏层的sigmoid换成ReLU或LeakyReLU，这两种激活函数能有效缓解梯度消失问题，保留更多特征信息：

# 替换原隐藏层的激活函数
from tensorflow.keras.layers import LeakyReLU

for i in range(0, layer_number):
    model.add(Dense(units = layer_size))
    model.add(LeakyReLU(alpha=0.1))  # 用LeakyReLU替代sigmoid
    model.add(Dropout(rate = dropout_rate))

2. 调整训练配置，提升收敛稳定性 #

• 增大Batch Size：batch_size=1会导致训练噪声极大，优化器无法稳定更新权重，建议改为32、64等合理值：

  history = model.fit(x=X_train, y=Y_train, batch_size=32,  # 修改此处
                      validation_data=(X_test, Y_test), epochs=100, 
                      callbacks=[early_stopping_callback])
  

• 修正Early Stopping监控指标：当前监控的是训练集loss，应该改为验证集val_loss，避免模型过拟合或提前停止在较差的权重上：

  early_stopping_callback = keras.callbacks.EarlyStopping(
      monitor='val_loss',  # 修改为验证集损失
      patience=30, 
      restore_best_weights=True
  )
  

3. 确保输入输出都做归一化 #

你提到试过归一化，但必须同时对输入X和目标Y做归一化处理。目标值范围在140-150，若仅归一化X，网络需要直接拟合大数值，加上之前激活函数的限制，会导致学习困难。示例代码：

from sklearn.preprocessing import StandardScaler

# 归一化X
scaler_X = StandardScaler()
X_train_scaled = scaler_X.fit_transform(X_train)
X_test_scaled = scaler_X.transform(X_test)

# 归一化Y
scaler_Y = StandardScaler()
Y_train_scaled = scaler_Y.fit_transform(Y_train)
Y_test_scaled = scaler_Y.transform(Y_test)

# 训练时传入归一化后的数据
history = model.fit(x=X_train_scaled, y=Y_train_scaled, ...)

# 预测后反归一化得到真实值
my_pred = model.predict(X_test_reshaped_line_scaled)
my_pred_original = scaler_Y.inverse_transform(my_pred)

4. 优化网络结构 #

当前6层每层6个神经元的结构过于狭窄，且无意义的深层设计会加剧梯度问题。建议调整：

• 减少隐藏层数量（比如2-3层），同时增加神经元数量（比如64、128），让网络有足够容量学习映射关系；
• 移除第一层冗余的Dense(data_length, input_dim=data_length)，直接从输入层连接到第一个隐藏层：

  model = keras.Sequential()
  # 移除原第一层，直接定义第一个隐藏层
  model.add(Dense(units=128, input_dim=data_length))
  model.add(LeakyReLU(alpha=0.1))
  model.add(Dropout(rate=dropout_rate))
  
  # 后续隐藏层调整为2-3层即可
  for i in range(0, 2):
      model.add(Dense(units=64))
      model.add(LeakyReLU(alpha=0.1))
      model.add(Dropout(rate=dropout_rate))
  
  model.add(Dense(units=vector_size))
  

5. 检查训练过程的损失变化 #

训练时观察loss和val_loss的变化，如果损失一直居高不下或几乎不动，说明网络仍未有效学习，可以尝试：

• 调整学习率（Adam默认学习率是0.001，可尝试调大到0.01或调小到0.0001）；
• 更换优化器（比如SGD带动量）；
• 增加训练轮数（如果Early Stopping还没触发）。

内容的提问来源于stack exchange，提问作者Animalz