关于基函数与Lasso的担忧及正则化与多变换的技术问询

一、基函数与Lasso各自的常见问题 #

先聊聊Lasso那些实际应用里的坑：

• 变量选择稳定性差：当预测变量存在共线性时，Lasso经常会随机选择其中一个变量保留，其他相关变量则被剔除——换个数据集重新拟合，选出来的变量可能完全不一样，结果的可靠性大打折扣。
• 对特征尺度极度敏感：这也是Harrell重点强调的点，Lasso的L1正则化依赖系数的绝对值，未缩放的特征会因为尺度差异受到完全不同的惩罚：尺度大的变量（比如以元为单位的年收入）系数绝对值更容易偏大，更难被正则化；尺度小的变量（比如年龄）则容易被直接剔除，完全违背了变量选择的客观性。
• 小样本场景偏差大：当样本量远小于变量数量时，Lasso很容易把噪音当成有效信号，不仅会过拟合，变量选择的错误率也会急剧上升。
• 无法适配分组变量：如果变量是成组相关的（比如同一特征的多项式基函数、多个非线性变换），Lasso往往只会保留组内个别变量，破坏了变量组的内在结构，导致模型的解释性和预测性能双双下降。

再说说基函数本身的问题：

• 维度爆炸风险：使用多项式基、样条基等变换时，基函数数量会随着变换复杂度快速增长，特征维度急剧上升，既增加了计算成本，也大幅提高了过拟合的可能性。
• 基函数选择主观性强：到底用几次多项式？样条设置多少个节点？这类选择大多依赖经验，不同的选择会带来差异极大的模型结果，缺乏统一的客观标准。
• 模型解释性下降：复杂的基函数变换（比如高次多项式、径向基）会让原始特征的物理意义变得模糊，模型直接变成“黑箱”，很难解释变量与响应变量之间的真实关系。
• 与正则化适配性差：正如Harrell指出的，当用基函数表示非线性关系时，常规的特征缩放方法完全不合理——比如对多项式的一次项和五次项做统一缩放，会直接抹杀高阶项的固有尺度特性，进而扭曲正则化的效果。

二、正则化与多变换（含基函数）的通用问题 #

先引用Harrell在课程笔记里的原话：

有一个问题阻碍了多数此类方法（主要指Lasso及其相关变体）的日常应用：它们在拟合模型前需要对预测变量进行缩放。当预测变量由非线性基函数表示时，文献中的缩放建议并不合理。——《回归建模策略》Harrell课程笔记（2016版第2.5.1节）

基于这个核心问题，这类方法的通用挑战主要有：

• 缩放的两难困境：正则化方法（尤其是L1/L2类）几乎都依赖特征缩放，但多变换场景下，缩放规则变得极其模糊：
  • 若统一缩放所有变换后的特征，会破坏不同变换的固有尺度信息（比如多项式一次项和五次项的原始影响幅度差异巨大，统一缩放后会扭曲它们对响应变量的真实贡献）；
  • 若不做缩放，正则化项会偏向惩罚尺度小的特征，导致变量选择或系数估计出现严重偏差。
• 正则化强度难以校准：多变换带来的高维度，让正则化强度（比如Lasso的λ）的选择难度陡增。交叉验证虽然是常用方法，但在高维空间中，交叉验证的方差会显著变大，很难找到真正最优的正则化强度，容易出现过正则化（剔除有用特征）或欠正则化（过拟合）的问题。
• 过拟合风险被放大：多变换本身就增加了特征数量，正则化的初衷是抑制过拟合，但如果基函数选择不当或正则化强度不合适，反而可能保留大量冗余的变换特征，导致模型在训练集表现优异，但测试集泛化能力极差。
• 模型解释性进一步丧失：正则化本身已经让系数的解释变得复杂（比如Lasso的稀疏性带来“全有或全无”的变量选择），再叠加多变换的特征，模型的可解释性几乎降到最低，很难向非技术人员解释变量与结果之间的关联。
• 计算效率问题突出：高维度的变换特征加上正则化的迭代求解（比如坐标下降、梯度下降），会大幅增加计算时间和内存消耗，在处理大规模数据集时，这个问题会尤为明显。

内容的提问来源于stack exchange，提问作者The Laconic