多项式回归中的基函数：单自变量下最高多项式阶数疑问

最高阶数结论 #

对于n个x值互不重复的数据点，多项式回归可使用的最高阶数是n-1。原因很直接：n个点能唯一确定一个n-1次多项式（比如2个点确定一次直线，3个点确定二次曲线）。若阶数超过n-1，模型会彻底过拟合所有数据点，且对应的正规方程组会出现奇异矩阵，无法得到唯一的系数解。

基函数角度的理解 #

单个自变量x完全可以对应多个基函数，这也是多项式回归能转化为线性回归求解的核心逻辑：

• 当拟合k次多项式时，我们将原始自变量x映射为一组基函数：1, x, x², ..., xᵏ
• 原多项式模型y = a₀ + a₁x + a₂x² + ... + aₖxᵏ，就等价于线性回归模型y = a₀*φ₀(x) + a₁*φ₁(x) + ... + aₖ*φₖ(x)，其中φᵢ(x)=xⁱ就是对应基函数
• 本质上是把单个x扩展成了k+1维的特征空间，用线性模型的框架来拟合非线性的多项式关系

比如拟合二次多项式时，基函数是1, x, x²，每个x值会生成三个特征值，代入线性回归的求解流程就能得到多项式的系数。

内容的提问来源于stack exchange，提问作者James Rider