Scipy Optimize返回初始猜测值为解：DataFrame最优过滤边界求解遇阻

核心问题 #

你的代码无法完成优化主要有三个原因：

1. 目标函数非纯函数：每次调用fil都会修改全局的dict，导致后续调用结果依赖之前的状态，完全违背优化器对「输入对应唯一输出」的要求。
2. 函数非光滑/非连续：当上下界刚好等于某条记录的nv Hwp值时，过滤结果会突变，均值跳变，梯度类优化器（如默认的L-BFGS-B）无法处理这种非可导的情况。
3. 边界与约束缺失：未限制h_l < h_u，当优化器尝试h_l >= h_u时，过滤条件无匹配行，均值计算会出错，导致优化中断。

修复后的代码 #

import pandas as pd
from scipy import optimize

# 原始参数计算
h = 3.04
a = 2.56
d = 3.25
nv_h = 1/h / (1/h + 1/a + 1/d)

# 保留原始DataFrame，不要转成共享dict
# 假设df是你的原始数据，确保后续操作不修改它

def fil(x):
    h_l, h_u = x
    # 惩罚无效解：h_l >= h_u时返回极大值
    if h_l >= h_u:
        return float('inf')
    
    # 向量化过滤，避免循环且不修改原始数据
    filtered = df[(df['nv Hwp'] > h_l) & (df['nv Hwp'] < h_u)]
    if filtered.empty:
        return float('inf')  # 空数据返回极大值，避免均值计算错误
    
    h_error = filtered['HW'] - nv_h
    return abs(h_error.mean())

# 设置合理边界：根据你的数据调整范围，这里用0-1示例
bnds = ((0, 1), (0, 1))
# 添加约束：h_u必须大于h_l
cons = ({'type': 'ineq', 'fun': lambda x: x[1] - x[0]})

# 选择无梯度优化方法，适配非光滑目标函数
result = optimize.minimize(
    fil, 
    x0=(0.1, 0.9),  # 初始值用你原来的合理值
    bounds=bnds,
    constraints=cons,
    method='Nelder-Mead',
    options={'disp': True}
)

print(result.message)
print(f"最优上下界: h_l={result.x[0]:.4f}, h_u={result.x[1]:.4f}")
print(f"最小均值绝对值: {result.fun:.4f}")

关键优化点 #

• 纯函数化：每次调用fil都基于原始df做过滤，不修改外部变量，确保输入x对应唯一输出。
• 向量化操作：用pandas布尔索引替代循环，大幅提升计算效率，代码更简洁。
• 无效解惩罚：当h_l >= h_u或过滤后无数据时，返回极大值，引导优化器避开这类无效解。
• 约束与边界：添加h_u > h_l的不等式约束，同时限制上下界在合理范围。
• 优化方法选择：用Nelder-Mead这种无梯度方法，适配非光滑的目标函数。

额外建议 #

• 如果数据集很大，可以加入过滤后样本量的约束（比如至少保留N条数据），避免优化器收敛到只保留极少数样本的极端情况。
• 可以尝试Powell等其他无梯度方法，对比不同方法的收敛速度和结果稳定性。

内容的提问来源于stack exchange，提问作者brandonm