使用scipy.optimize.minimize求解似然函数最小值失败求助
问题排查与解决方法
核心错误原因
- 你的似然函数中解包得到的
alpha1/alpha2/alpha3/alpha4/beta1/beta2参数完全没有参与后续计算,Pj_xxx变量没有和输入参数params关联,优化器无法找到损失下降的方向,迭代全程参数没有更新,最终跑满最大迭代次数后返回失败。 - 多组似然项求和时,只要任意一个
Pj_xxx取值为0或1,就会触发np.log(0)得到-inf,最终损失值返回nan,单组运行时大概率刚好没有触发边界情况所以可以正常运行。 - 代码中重复写入了两次436000地区的似然项,虽然不是核心错误,但会导致该项权重被错误放大。
- 选择的
Nelder-Mead是无导数优化算法,对于似然函数这类平滑可导的优化问题收敛效率极低,高维参数场景很容易提前跑满迭代次数。
修复方案
- 首先补充
Pj_xxx的计算逻辑,确保所有Pj变量的计算都用到了解包得到的6个参数,替换成你自己的概率计算公式即可。 - 对
np.log的输入参数做裁剪,避免出现0/1的边界值,解决数值不稳定的问题。 - 为参数设置合理的取值边界,避免优化过程中参数漂移到不合理的区间,进一步提升稳定性。
- 更换为适合平滑优化问题的
L-BFGS-B算法,大幅提升收敛效率。
修复后代码示例
import numpy as np from scipy.optimize import minimize def infected_prob_lh(params): alpha1, alpha2, alpha3, alpha4, beta1, beta2 = params # -------------------------- # 替换为你自己的Pj计算逻辑,确保和上面的参数关联 Pj_339034 = 1 / (1 + np.exp(-(alpha1 * 339034 + beta1))) # 仅为示例 Pj_436000 = 1 / (1 + np.exp(-(alpha2 * 436000 + beta1))) # 仅为示例 Pj_817037 = 1 / (1 + np.exp(-(alpha3 * 817037 + beta2))) # 仅为示例 Pj_1282000 = 1 / (1 + np.exp(-(alpha4 * 1282000 + beta2))) # 仅为示例 Pj_4014000 = 1 / (1 + np.exp(-(alpha1 * 4014000 + beta2))) # 仅为示例 # -------------------------- # 裁剪参数避免log溢出 def safe_log(p): return np.log(np.clip(p, 1e-10, 1 - 1e-10)) # 移除重复的436000项,按需保留 lh_sum = ( Nij_339034 * safe_log(Pj_339034) + (N_339034 - Nij_339034) * safe_log(1 - Pj_339034) + Nij_436000 * safe_log(Pj_436000) + (N_436000 - Nij_436000) * safe_log(1 - Pj_436000) + Nij_817037 * safe_log(Pj_817037) + (N_817037 - Nij_817037) * safe_log(1 - Pj_817037) + Nij_1282000 * safe_log(Pj_1282000) + (N_1282000 - Nij_1282000) * safe_log(1 - Pj_1282000) + Nij_4014000 * safe_log(Pj_4014000) + (N_4014000 - Nij_4014000) * safe_log(1 - Pj_4014000) ) return -lh_sum # 调整为更合理的初始值,不要全设为1 init_params = [0.01, 0.01, 0.01, 0.01, 0.1, 0.1] # 按需设置参数边界,示例为所有参数均大于0 bounds = [(1e-6, None), (1e-6, None), (1e-6, None), (1e-6, None), (1e-6, None), (1e-6, None)] # 换用L-BFGS-B算法,增大最大迭代次数 res = minimize( infected_prob_lh, x0=init_params, method='L-BFGS-B', bounds=bounds, options={'maxiter': 10000} ) print(res)
内容的提问来源于stack exchange,提问作者nay
相关产品推荐
相关产品推荐

