基于Python线性优化求解约束权重系数问题

问题根源 #

你遇到的极端权重（全0或单一权重为1）是无正则化约束最小二乘的典型结果：当特征存在冗余、数据量相对特征数不足（比如示例中2行数据对应6个特征的欠定场景），优化器会倾向于选择能最大程度降低误差的少数特征，甚至单个特征，直接忽略其他特征。

解决方案：加入正则化项 #

要让权重分散在合理区间，需要在目标函数中加入正则化项，惩罚极端的权重分布。常用的有两种：

• L2正则化（岭回归）：惩罚权重的平方和，迫使权重更均匀地分布，避免极端值
• 弹性网（Elastic Net）：结合L1和L2正则化，适合特征数量多的场景

方法1：修改Gekko代码加入正则化 #

在原目标函数中添加L2正则化项，通过调整正则化强度（lambda_）控制权重分散程度：

import numpy as np
from gekko import GEKKO

x = np.array([[15., 21., 13.5, 12., 18., 15.5],
              [14.5, 20.5, 16., 14., 19.5, 20.5]])
y = np.array([55.44456011, 55.70023835])

n_vars = x.shape[1]
n_data = y.shape[0]

m = GEKKO()
weights = [m.Var(lb=0, ub=1) for _ in range(n_vars)]

# 计算预测值
y_pred = [m.Intermediate(m.sum([weights[i] * x[j, i] for i in range(n_vars)])) for j in range(n_data)]
# 平方误差项
mse = m.sum([(y_pred[i] - y[i]) ** 2 for i in range(n_data)])
# L2正则化项，lambda_为正则化强度，需根据实际数据调整
lambda_ = 0.1
l2_reg = lambda_ * m.sum([w**2 for w in weights])
# 总目标：误差+正则化
m.Obj(mse + l2_reg)

# 权重和为1的约束
m.Equation(sum(weights) == 1)

# 求解器配置
m.options.SOLVER = 3
m.options.IMODE = 3
m.solve(disp=False)

optimized_weights = [w.value[0] for w in weights]
print(optimized_weights)

方法2：使用scikit-learn+约束转换（更适合大数据量） #

针对100+特征、5000+行的大数据，scikit-learn效率更高。由于其没有直接支持0-1+和为1的约束，可通过变量转换将问题转化为无约束岭回归：

将权重w_i表示为w_i = z_i / sum(z_i)（z_i >= 0），自动满足sum(w_i)=1和0<=w_i<=1，再将目标函数转化为关于z的最小二乘问题：

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler

# 标准化特征，消除尺度影响，可选但推荐
scaler = StandardScaler()
x_scaled = scaler.fit_transform(x)

# 构造新的特征矩阵和目标向量，适配转换后的变量
X_new = np.hstack([x_scaled, -y.reshape(-1,1)])
y_new = np.zeros(len(y))

# 岭回归求解
ridge = Ridge(alpha=0.1, fit_intercept=False)
ridge.fit(X_new, y_new)
z = ridge.coef_[:-1]
# 转换回权重并截断到0-1区间
optimized_weights = z / z.sum()
optimized_weights = np.clip(optimized_weights, 0, 1)
print(optimized_weights)

方法3：使用CVXPY（灵活的凸优化工具） #

CVXPY专门处理带约束的凸优化问题，语法直观，适合自定义约束场景：

import numpy as np
import cvxpy as cp

x = np.array([[15., 21., 13.5, 12., 18., 15.5],
              [14.5, 20.5, 16., 14., 19.5, 20.5]])
y = np.array([55.44456011, 55.70023835])

n_vars = x.shape[1]
weights = cp.Variable(n_vars)

# 目标函数：平方误差+L2正则化
lambda_ = 0.1
objective = cp.Minimize(cp.sum_squares(x @ weights - y) + lambda_ * cp.sum_squares(weights))
# 约束条件
constraints = [weights >= 0, weights <= 1, cp.sum(weights) == 1]

# 求解问题
prob = cp.Problem(objective, constraints)
prob.solve()

optimized_weights = weights.value
print(optimized_weights)

关键注意事项 #

• 正则化强度调整：lambda_需根据实际数据调整，过小仍会出现极端权重，过大则权重过于平均，无法体现特征差异，可通过交叉验证选择最优值。
• 数据预处理：标准化特征可避免不同尺度特征对权重的影响，让正则化更有效。
• 大数据量适配：Gekko和CVXPY适合中小规模数据，5000+行的大数据优先选择scikit-learn方案；若特征数超过样本数，优先考虑弹性网正则化。

内容的提问来源于stack exchange，提问作者finman69