TensorFlow正弦函数逼近神经网络损失发散问题求助

嘿，我完全理解作为TensorFlow新手自己动手实现函数逼近器时，遇到损失发散有多挫败——我刚入门的时候也踩过一模一样的坑！咱们一步步拆解问题，找出常见的诱因，再对应给出修复方案。

1. 输入/输出未做范围匹配或归一化 #

正弦函数的输出范围是[-1,1]，如果你的输入x直接用0到2π甚至更大的区间，再加上网络初始权重可能偏大，很容易导致激活函数饱和（比如用sigmoid的话），要么梯度消失要么爆炸，最终损失直接发散。

修复方案：
把输入归一化到和输出匹配的区间（比如[-1,1]），或者标准化到均值0、方差1的分布：

import numpy as np

x = np.linspace(0, 2*np.pi, 1000)
# 方案1：缩放到[-1,1]区间
x_normalized = (x - np.min(x)) / (np.max(x) - np.min(x)) * 2 - 1
# 方案2：标准化（均值0，方差1）
x_normalized = (x - np.mean(x)) / np.std(x)
# 标签是正确的正弦值，范围刚好是[-1,1]
y = np.sin(x)

2. 激活函数选择错误 #

如果输出层用了sigmoid（输出范围[0,1]），但正弦函数的输出包含负值，模型根本无法拟合负标签，损失会直接飙升。另外隐藏层用sigmoid也容易在输入偏大/偏小时饱和，导致梯度消失。

修复方案：

• 输出层用tanh（输出范围[-1,1]），或者直接不用激活函数（如果已经调整好输入输出范围）
• 隐藏层优先用ReLU、LeakyReLU这类不易饱和的激活函数：

model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(1,)),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1, activation='tanh')  # 完美匹配正弦输出范围
])

3. 学习率设置过高 #

学习率太大的话，模型参数每次更新的步长会超出损失函数的最小值范围，导致参数在最小值附近来回震荡甚至彻底偏离，最终损失发散。

修复方案：
降低学习率，比如给Adam优化器设置更小的学习率：

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)  # 默认是0.001，发散的话可以试试0.0001
model.compile(optimizer=optimizer, loss='mse')

4. 损失函数选错了 #

正弦函数逼近是回归任务，如果误用了分类任务的损失函数（比如交叉熵），肯定会出问题。回归任务应该用均方误差（MSE）或者平均绝对误差（MAE）。

修复方案：
确保编译模型时使用回归类损失：

model.compile(optimizer='adam', loss='mse')  # MSE对回归任务更常用，想鲁棒性强可以用MAE

5. 权重初始化不合理 #

默认的权重初始化可能不适合你选的激活函数，比如用ReLU却用了Xavier初始化，容易导致神经元激活值过小，梯度消失。

修复方案：
给不同激活函数搭配对应的初始化方式：

• ReLU系列用He初始化
• tanh/sigmoid用Xavier初始化

model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(1,),
                          kernel_initializer='he_normal'),
    tf.keras.layers.Dense(32, activation='relu',
                          kernel_initializer='he_normal'),
    tf.keras.layers.Dense(1, activation='tanh',
                          kernel_initializer='glorot_normal')  # Xavier的别名
])

完整可运行示例代码 #

这里给你一个调整后的完整代码，你可以直接跑起来看看效果：

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

# 生成并预处理数据
x = np.linspace(0, 2*np.pi, 1000)
x_normalized = (x - np.min(x)) / (np.max(x) - np.min(x)) * 2 - 1
y = np.sin(x)

# 构建模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(1,), kernel_initializer='he_normal'),
    tf.keras.layers.Dense(32, activation='relu', kernel_initializer='he_normal'),
    tf.keras.layers.Dense(1, activation='tanh')
])

# 编译并训练
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), loss='mse')
history = model.fit(x_normalized, y, epochs=100, batch_size=32, validation_split=0.2)

# 可视化损失变化
plt.plot(history.history['loss'], label='训练损失')
plt.plot(history.history['val_loss'], label='验证损失')
plt.legend()
plt.show()

# 测试预测效果
x_test = np.linspace(0, 2*np.pi, 100)
x_test_normalized = (x_test - np.min(x)) / (np.max(x) - np.min(x)) * 2 - 1
y_pred = model.predict(x_test_normalized)

plt.plot(x_test, np.sin(x_test), label='真实Sin(x)')
plt.plot(x_test, y_pred, label='预测Sin(x)', linestyle='--')
plt.legend()
plt.show()

内容的提问来源于stack exchange，提问作者Emm