为何ReLU神经网络拟合绝对值函数需额外隐藏层？

我尝试用神经网络拟合y=|x|函数（零点处由两条直线衔接），最初构建的模型是1个含2个ReLU神经元的Dense隐藏层+1个Dense输出层，但训练后只能拟合函数单侧（大多是右侧，偶尔左侧）。新增1个Dense隐藏层后，模型就能完美拟合该函数。请问为何仅一个分段点的绝对值函数需要额外隐藏层？

相关代码 #

import numpy as np

X = np.linspace(-1000,1000,400)
np.random.shuffle(X)
Y = np.abs(X)

# Reshape data to fit the model input
X = X.reshape(-1, 1)
Y = Y.reshape(-1, 1)

import tensorflow as tf
import matplotlib.pyplot as plt

# Build the model
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(2, activation='relu'),
    tf.keras.layers.Dense(1)
])

# Compile the model
model.compile(optimizer='adam', loss='mse',metrics=['mae'])
model.fit(X, Y, epochs=1000)
# Predict using the model
Y_pred = model.predict(X)

# Plot the results
plt.scatter(X, Y, color='blue', label='Actual')
plt.scatter(X, Y_pred, color='red', label='Predicted')
plt.title('Actual vs Predicted')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.show()

拟合效果对比 #

2层网络（1隐藏层+1输出层）拟合效果

3层网络（2隐藏层+1输出层）拟合效果

问题解析 #

1. 理论上：单隐藏层ReLU网络本应能拟合|x|

ReLU神经元的输出是max(0, w*x + b)，属于分段线性函数。而|x|可以拆解为两个ReLU函数的线性组合：|x| = max(0, x) + max(0, -x)。也就是说，只要隐藏层的2个ReLU神经元分别学到max(0,x)和max(0,-x)，再通过输出层的权重将两者相加，就能完美拟合目标函数。

2. 实际训练失败的原因

你遇到的单侧拟合问题，本质是优化过程陷入了局部最优：

• 初始化偏差：如果初始权重偏向让其中一个ReLU神经元主导输出（比如只激活max(0,x)），Adam优化器可能无法跳出这个局部最优解，最终只学到单侧的线性函数。
• 数据尺度问题：你的输入X范围是[-1000,1000]，过大的尺度可能导致ReLU神经元一开始就处于饱和状态（比如w*x + b远大于0或远小于0），参数梯度很小，难以调整到正确的权重组合。
• 训练稳定性：单隐藏层的模型表达能力刚好够，但容错性低，微小的初始化或训练参数波动就可能导致拟合失败。

3. 新增隐藏层为何能解决问题

增加一个隐藏层后，模型的表达能力变得更灵活：

• 它可以先学习一些中间的分段线性特征，再通过第二层隐藏层组合出|x|所需的两个分段，相当于把复杂的拟合任务拆成了更简单的子任务，优化难度降低。
• 更多的参数和层级结构让模型更容易避开局部最优，有更多路径收敛到正确的权重组合。

内容的提问来源于stack exchange，提问作者onik