物理问题线性回归预测复数：幅值约束与NaN问题求解

一、幅值预测的替代约束方案 #

1. 用损失惩罚替代激活函数约束 #

直接移除sigmoid激活，在原有损失函数中加入幅值边界惩罚项，强制输出落在[0,1]区间：

L = (1/n)Σ(f_true - f(a_pred, b_pred, |c_pred|, c_pred^φ))² + λ * max(0, -|c_pred|) + λ * max(0, |c_pred| - 1)

其中λ为惩罚系数，可从1e-3开始逐步调优。这种方式避开了sigmoid尾部梯度异常的问题，同时通过损失约束幅值范围。

2. 适配小数值的输出变换 #

放弃sigmoid，改用平方根变换+线性输出：

• 模型直接预测sqrt(|c_true|)，真实幅值_{1e-4经平方根后为}1e-2，处于线性输出的有效区间；
• 训练时将sqrt(|c_pred|)代入损失计算，预测后平方还原幅值，自然保证非负，再额外添加max(0, |c_pred| -1)的惩罚项限制上限。

或者采用对数变换：

• 对真实幅值做变换y = log(|c_true| + ε)（ε取1e-8避免log(0)），模型直接预测y；
• 预测后通过|c_pred| = exp(y) - ε还原，再加入幅值不超过1的惩罚项。该变换能将极小值映射到更均匀的区间，缓解梯度波动。

二、复数预测的整体优化思路 #

1. 直接预测复数的实部与虚部 #

复数本质是二维实数，让模型直接输出实部c_real和虚部c_imag，再推导幅值|c| = sqrt(c_real² + c_imag²)、相位φ = arctan2(c_imag, c_real)代入损失函数，同时添加幅值约束惩罚：

L = (1/n)Σ(f_true - f(a_pred, b_pred, sqrt(c_real² + c_imag²), arctan2(c_imag, c_real)))² + λ * max(0, sqrt(c_real² + c_imag²) - 1)

这种方式避免了单独预测小幅值时的梯度问题，实部虚部的线性输出更稳定，幅值约束通过惩罚实现，无激活函数的非线性瓶颈。

2. 调整损失函数的数值稳定性 #

如果f函数对幅值变化敏感，可对损失做归一化处理：

• 将f_true和f(pred)都除以max(f_true)，让损失值处于更稳定的数量级；
• 或给幅值相关的误差赋予更高权重，引导模型更关注小幅值的拟合精度。

三、训练细节优化 #

• 初始化幅值输出层参数：若直接预测幅值，将输出层偏置初始化为接近真实小幅值（如1e-4），避免模型初始阶段输出大值，减少梯度波动；
• 启用梯度裁剪：训练时对全局梯度做裁剪（如torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)），防止梯度爆炸导致NaN；
• 切换自适应优化器：用AdamW替代SGD，自适应学习率能更好地适配小数值区域的梯度更新节奏。

内容的提问来源于stack exchange，提问作者Sam