Sklearn线性回归如何约束系数为正？求Python替代工具

我明白你遇到的问题——Scikit-learn的LinearRegression确实没有内置选项来强制回归系数为正。不过有几种方法可以实现这个需求，不管是在Sklearn生态内，还是用其他Python工具，下面给你详细说明：

一、在Scikit-learn生态内实现正系数约束 #

方法1：利用带positive参数的Lasso回归 #

Sklearn的Lasso回归器提供了positive=True参数，可以强制所有回归系数非负。如果你不需要正则化（即近似普通最小二乘），只需要把正则化强度alpha设置为一个极小值（比如1e-10）即可：

from sklearn.linear_model import Lasso
import numpy as np

# 示例数据：替换成你的特征矩阵X和目标变量y
X = np.random.rand(100, 5)
y = X @ np.array([1.2, 3.4, 0.8, 2.1, 0.5]) + np.random.randn(100)*0.1

# 初始化带正系数约束的回归器
reg = Lasso(alpha=1e-10, positive=True, fit_intercept=True)
reg.fit(X, y)

print("回归系数：", reg.coef_)
print("截距项：", reg.intercept_)

方法2：结合Scipy的带约束最小二乘优化 #

你也可以用scipy.optimize.lsq_linear手动实现，它支持设置变量的上下界约束，把特征系数的下界设为0即可：

from scipy.optimize import lsq_linear
import numpy as np

# 给特征矩阵添加截距项（如果需要截距的话）
X_with_intercept = np.hstack([np.ones((X.shape[0], 1)), X])

# 设置约束：截距无限制，特征系数必须>=0
lower_bounds = np.concatenate([[-np.inf], np.zeros(X.shape[1])])
upper_bounds = np.full(X_with_intercept.shape[1], np.inf)

# 求解带约束的最小二乘问题
result = lsq_linear(X_with_intercept, y, bounds=(lower_bounds, upper_bounds))

print("截距项：", result.x[0])
print("回归系数：", result.x[1:])

二、其他支持正系数约束的Python包 #

1. Statsmodels #

Statsmodels的线性回归模块支持自定义约束条件，包括强制系数非负，用法更贴近统计建模的习惯：

import statsmodels.api as sm
import numpy as np

X = np.random.rand(100, 5)
y = X @ np.array([1.2, 3.4, 0.8, 2.1, 0.5]) + np.random.randn(100)*0.1
X = sm.add_constant(X)  # 添加截距项

# 定义约束：所有特征系数（索引1到5）必须>=0
constraints = {'vars': range(1, X.shape[1]), 'type': '>=', 'value': 0}
model = sm.OLS(y, X)
result = model.fit_constraints(constraints)

# 输出详细结果和系数
print(result.summary())
print("回归系数（含截距）：", result.params)

2. CVXPY #

如果你需要更灵活的约束定义（比如部分系数正、部分无约束），CVXPY这个凸优化库是很好的选择，它允许你自定义损失函数和约束：

import cvxpy as cp
import numpy as np

X = np.random.rand(100, 5)
y = X @ np.array([1.2, 3.4, 0.8, 2.1, 0.5]) + np.random.randn(100)*0.1
n_samples, n_features = X.shape

# 定义变量：特征系数beta（强制非负），截距b（无约束）
beta = cp.Variable(n_features, nonneg=True)
b = cp.Variable()

# 定义最小二乘损失函数
loss = cp.sum_squares(X @ beta + b - y)

# 构建并求解优化问题
prob = cp.Problem(cp.Minimize(loss))
prob.solve()

print("回归系数：", beta.value)
print("截距项：", b.value)

内容的提问来源于stack exchange，提问作者Alex F