You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

Akaike信息准则(AIC)是否依赖于单位?

关于AIC中RSS单位依赖性的疑问解答

你观察得非常敏锐——RSS(残差平方和)确实和响应变量的单位直接挂钩,比如把资金单位从美元换成百万美元,RSS的数值会缩小到原来的1/10¹²,这看起来会让n*Log(RSS/n)项产生巨大变化,好像会干扰AIC的判断?但其实这里有个关键的核心逻辑:AIC的价值从来不是它的绝对值,而是不同模型之间的AIC相对差值

咱们来拆解这个逻辑:

  • 假设我们把响应变量Y缩放了c倍(比如c=1e-6,对应从美元转百万美元),那么新的RSS' = c² * RSS(因为每个残差都缩放了c倍,平方后就是c²)。
  • 代入AIC公式,新的AIC' = 2k + nLog(RSS'/n) = 2k + nLog( (c²RSS)/n ) = 2k + nLog(RSS/n) + n*Log(c²)
  • 这里的n*Log(c²)是一个常数——它只和缩放系数c以及样本量n有关,和模型的参数数量k完全无关。

当你比较两个模型(比如k个参数和k+1个参数的模型)时:

  • 模型1的AIC' = AIC₁ + C(C就是那个固定常数)
  • 模型2的AIC' = AIC₂ + C
  • 两者的差值AIC'₂ - AIC'₁ = AIC₂ - AIC₁,和原始单位下的差值完全一致!

也就是说,单位缩放只会给所有模型的AIC加上同一个常数,不会改变模型之间的相对优劣。所以你担心的“单位变化导致RSS变化太小无法抵消2k增量”的情况,其实根本不会影响参数选择的判断——只要你是在同一组数据(不管单位怎么选)上比较不同模型,AIC的相对比较结果都是完全一致的。

另外补充一点:如果真的想彻底消除单位的直观干扰,也可以先对响应变量做标准化处理(比如减去均值除以标准差),这样RSS就变成了标准化后的残差平方和,单位问题就彻底不存在了,但本质上这和直接用原始单位比较AIC是等价的,因为标准化就是一种固定的缩放操作,同样只会给所有模型的AIC加一个常数。


内容的提问来源于stack exchange,提问作者bulldog91

火山引擎 最新活动