Keras小数据集模型能否实现15-17位有效数字的预测精度？

可行性判断 #

理论上存在满足要求的参数组合，但实际训练中几乎不可能达到你要求的15-17位有效数字精度。原因在于神经网络的优化过程本身受限于浮点运算的数值误差，且你的需求对参数的精准度要求极高，优化器很难收敛到恰好满足极端输出范围的参数点。

当前做法存在的核心问题 #

• 损失函数不匹配：*均方误差（MSE）*会被量级极大的第二个样本（y=1对应输出1e14+）完全主导，优化过程会优先拟合这个大输出，第一个样本（y=0对应输出1e-17~9.9e-14）的误差会被彻底忽略，根本无法满足其精度要求。
• 优化器选择不当：Adam优化器是自适应学习率优化器，适合常规任务，但对于这种需要小样本高精度拟合的场景，它的动量机制和自适应学习率容易导致优化震荡，无法收敛到足够精确的参数点。相比之下，L-BFGS这类二阶优化器更适合小样本下的精准拟合。
• 参数过拟合+数值稳定性问题：你的模型有7个可训练参数（隐藏层1×2权重+2偏置，输出层2×1权重+1偏置），但只有2个样本，参数自由度远大于样本数，存在无数组参数能拟合样本，但要找到恰好满足极端输出范围的参数难度极大。同时，要让atan输出（范围-1.57~1.57）通过线性组合达到1e14+的量级，输出层权重需要达到1e14量级，这会引发梯度爆炸、浮点舍入误差放大等问题，直接破坏float64的精度优势。
• 训练逻辑矛盾：你提到用批量梯度下降，但Adam优化器默认并非纯批量模式，且两个样本的损失量级差异悬殊，批量计算的梯度会被大样本完全主导，小样本的优化信号根本无法传递，导致第一个样本的输出精度永远无法达标。

内容的提问来源于stack exchange，提问作者Majk