样条回归中基函数数量是否可能多于观测值数量？

首先可以明确：回归样条没有强制要求观测值行数必须多于基函数列数，你目前得到不错结果的情况是合理且合规的。

普通线性回归要求观测数多于特征数，本质是为了保证无正则的普通最小二乘（OLS）求解时设计矩阵列满秩，得到唯一的闭式解，避免欠定系统出现无穷多解的问题。但回归样条的拟合逻辑和普通无约束线性回归不完全一致，出现观测数少于基函数数还能得到合理结果的常见原因有两个：

• 你的样条实现默认带了正则化约束：绝大多数工程实现的样条拟合接口，默认会添加平滑惩罚项或者岭惩罚项，这类约束可以给欠定系统增加额外的优化目标，最终得到唯一且泛化能力尚可的解，这也是工业界和学术研究中非常常见的用法。
• 你的B-spline基函数存在共线性，实际有效自由度远小于基函数的名义数量：B-spline基函数本身是局部支撑的，相邻基函数的重叠很容易带来共线性，此时名义上的基函数数量不等于实际参与拟合的独立特征数量，有效自由度小于观测数的情况下，拟合自然是稳定的。

如果你用的是无任何正则化的纯OLS拟合回归样条，观测数少于基函数数时会得到训练集误差为0的完美拟合结果，这种情况大概率是过拟合，你说的“不错的结果”如果仅来自训练集指标，建议补充独立测试集的验证结果确认有效性。

你可以通过几个简单的操作确认当前方案的合理性：

• 查看你调用的B-spline拟合函数的官方说明，确认是否默认开启了惩罚项
• 输出模型的有效自由度，确认该数值是否小于你的观测值数量
• 用完全未参与训练的测试集评估模型效果，排除过拟合风险

内容的提问来源于stack exchange，提问作者Bahareh