基于DeepXDE的微分方程求解精度局限、优化方法及适配优化器问询

精度局限是否为业内已知共性问题 #

基于物理信息神经网络（PINN）范式的DeepXDE类求解框架，精度上限低于传统数值离散方法（有限元、有限差分、谱方法）是业内公认的共性问题。这类方法的核心优化目标是偏微分方程域内残差、边界/初始条件残差的加权均方误差，本身不存在对解的逐点硬约束，网络对高梯度场、多尺度耦合问题、长时间周期演化场景的拟合能力存在天然瓶颈，并非仅调整元参数就能完全抹平这类精度差距。

可落地的微分方程求解精度提升方案 #

• 损失约束改造：将传统的软约束（把边界/初始条件作为损失项加权求和）替换为硬约束实现，通过网络结构设计让输出自动满足边界、初始条件要求，把优化的计算资源完全聚焦到域内方程残差最小化上；同时对残差做动态加权，对残差绝对值偏高的区域提升对应残差的权重，避免全局损失被低误差区域稀释。
• 配点采样优化：放弃固定的随机均匀采样策略，采用残差自适应采样逻辑——每训练固定步数，筛选当前残差排名靠前的点位，补充新的训练采样点替换低残差区的冗余点位，让网络优先拟合误差较高的区域。
• 网络结构适配：针对存在高频解分量的问题，引入傅里叶特征嵌入、正弦激活函数，缓解深度网络的频谱偏差问题；针对大尺度、长时程演化问题，增加残差连接、局部卷积模块，提升网络对复杂解形态的拟合容量。
• 收敛校验机制：在独立的非训练网格上定期计算解的偏差，监控网络是否过拟合到训练配点上的虚假收敛，避免损失下降但实际解的精度停滞的问题。

高精度求解场景的优化器适配 #

仅使用Adam优化器开展训练，本身就是很多场景下精度上不去的核心诱因，不存在单一优化器可以一步到位实现高精度收敛，业内通用的高精度训练流程为分阶段混合优化：

• 第一阶段保留Adam做全局粗搜：利用Adam的自适应学习率特性，快速跳出初始阶段的平坦损失鞍点，把网络参数收敛到全局最优点的邻近区域，通常这个阶段持续到损失值下降进入明显平台期即可停止。
• 第二阶段切换L-BFGS做高精度收尾：这类基于曲率信息更新参数的二阶优化器，能把损失值压到远低于Adam可达到的量级，也是DeepXDE原生支持、最适配物理约束求解场景的高精度优化器；面对大网格、大模型的求解任务，可以搭配逐次最小二乘类优化器，平衡二阶方法的计算开销和收敛精度。
• 需避免全程使用Adam：Adam的自适应动量机制在损失曲面接近极小值点时，会出现持续震荡、无法落到精确极小值点的问题，这也是很多用户反复调整元参数仍无法提升精度的常见原因。

内容的提问来源于stack exchange，提问作者Urs-Martin