Scipy Optimize限制非零变量数量问题求助

为什么你的约束被忽略？ #

SLSQP是基于梯度的连续优化算法，它要求目标函数和约束都必须是连续可微的。但你写的c2函数是基于变量是否为0的计数，这是一个非光滑、不连续的函数：

• 当变量从0变成极小的非零值时，len(x[x!=0])会突然跳变，函数值也跟着突变，不存在连续的梯度。
• 对于SLSQP来说，这种约束的梯度几乎处处为0，算法找不到调整变量的方向来满足约束，自然会直接忽略它，只顾着最大化目标函数（因为你的目标是-x*pred求和，pred是随机正数，所以每个变量取最大值10时目标最小）。

正确的解决思路 #

你的问题属于稀疏优化（要求解中最多5个非零变量），这类问题不能用普通的梯度类算法直接处理，下面是几种可行的方案：

方案1：用L1正则化近似（Lasso） #

L1正则化会让解自动稀疏，通过调整正则化强度，可以让大部分变量收缩到0。你可以在目标函数中加入L1惩罚项：

import pandas as pd
import numpy as np
from scipy.optimize import minimize, Bounds

tmp = pd.DataFrame()
tmp['pred'] = np.random.random(200)
x0 = np.zeros(200)

def obj(x, df=tmp, lambda_=1.0):
    # 目标函数：原目标 + L1正则项
    return np.sum(-x * df['pred'].values) + lambda_ * np.sum(np.abs(x))

# 调整lambda_的值，直到非零变量数接近5
sol = minimize(fun=obj, x0=x0, method='SLSQP', bounds=Bounds(-10,10))
# 查看非零变量数量（用1e-6判断是否为0，避免浮点误差）
non_zero_count = len(sol.x[np.abs(sol.x) > 1e-6])
print(f"非零变量数：{non_zero_count}")

你需要多次调整lambda_的大小：lambda越大，稀疏性越强，非零变量越少；lambda越小，非零变量越多。

方案2：使用专门的稀疏优化工具 #

比如用cvxpy，它支持直接设置非零元素个数的约束（内部会用近似方法求解）：

import cvxpy as cp
import pandas as pd
import numpy as np

tmp = pd.DataFrame()
tmp['pred'] = np.random.random(200)
x = cp.Variable(200)
objective = cp.Minimize(-cp.sum(x * tmp['pred'].values))
constraints = [
    cp.norm(x, 0) <= 5,  # L0范数约束：非零元素≤5
    x >= -10,
    x <= 10
]
problem = cp.Problem(objective, constraints)
problem.solve(solver=cp.ECOS)
# 查看结果
non_zero_count = len(x.value[np.abs(x.value) > 1e-6])
print(f"非零变量数：{non_zero_count}")

注意：cvxpy的L0约束是用松弛方法近似求解的，结果可能不是严格的5个，但可以通过后处理（把绝对值最小的非零变量设为0）来得到刚好5个的解。

方案3：启发式优化算法 #

因为你的问题带离散约束，遗传算法、粒子群这类启发式算法更适合，它们不需要依赖梯度。比如用scipy的differential_evolution：

import pandas as pd
import numpy as np
from scipy.optimize import differential_evolution

tmp = pd.DataFrame()
tmp['pred'] = np.random.random(200)

def obj(x):
    return np.sum(-x * tmp['pred'].values)

# 定义约束：非零变量数≤5
def constraint(x):
    return 5 - len(x[np.abs(x) > 1e-6])

# 边界：每个变量在-10到10之间
bounds = [(-10, 10)] * 200

sol = differential_evolution(
    obj, bounds, constraints={'type': 'ineq', 'fun': constraint},
    popsize=15, maxiter=1000
)
non_zero_count = len(sol.x[np.abs(sol.x) > 1e-6])
print(f"非零变量数：{non_zero_count}")

启发式算法的优点是能处理离散约束，缺点是计算速度慢，结果不一定是全局最优。

总结 #

SLSQP完全不适合处理“非零变量个数固定”这种离散约束，你需要换用专门的稀疏优化方法或者启发式算法。如果追求精确的5个非零变量，启发式算法或者组合优化的近似方法（比如逐步迭代删除小变量）会更靠谱。

内容的提问来源于stack exchange，提问作者helloimgeorgia