LightGBM、XGBoost、随机森林回归模型的AIC评估函数适配问询

我尝试用AIC评估LightGBM、XGBoost和随机森林构建的回归模型，流程为：按特征重要性排序→拟合预测→计算AIC→剔除最不重要特征后重复操作，目标是找到实现最低AIC所需的最少特征以避免过拟合。我编写了通用AIC计算函数，想咨询该函数是否适配这三种模型，还是需为每种模型使用特定函数？若需要请提供对应函数。

通用函数代码：

from sklearn.metrics import mean_squared_error
import numpy as np
import pandas as pd

def aic(y_true, y_pred,X_train):
    # 计算均方误差
    mse = mean_squared_error(y_true,y_pred)
    # 特征数量
    n_features = X_train.shape[1]
    n=len(y_true)
    aic= 2 * n_features - 2 * n * np.log(mse)
    return aic

你编写的通用AIC函数不适用于LightGBM、XGBoost和随机森林。这个公式是基于线性回归（假设误差服从正态分布）推导的，而这三种都是非线性集成模型，参数结构、似然函数和线性模型完全不同，直接套用会导致AIC计算结果失去统计意义。

以下是针对三种模型的AIC计算方案：

1. 随机森林的AIC计算 #

随机森林是无参数集成模型，没有明确的似然函数，严格意义上的AIC无法直接计算。如果一定要用类似AIC的准则做特征选择，通常用伪AIC近似实现，或者直接用袋外（OOB）误差替代AIC做特征筛选。

伪AIC的近似实现（基于残差和模型复杂度）：

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
import numpy as np

def rf_pseudo_aic(model, y_true, y_pred):
    n = len(y_true)
    mse = mean_squared_error(y_true, y_pred)
    # 用树的总节点数近似模型复杂度（替代参数数量k）
    total_nodes = sum([tree.node_count for tree in model.estimators_])
    # 正态分布假设下的对数似然
    log_likelihood = -n/2 * (np.log(2 * np.pi) + np.log(mse))
    pseudo_aic = 2 * total_nodes - 2 * log_likelihood
    return pseudo_aic

# 使用示例
rf_model = RandomForestRegressor(oob_score=True)
rf_model.fit(X_train, y_train)
y_pred = rf_model.predict(X_train)
aic_val = rf_pseudo_aic(rf_model, y_train, y_pred)

注意：随机森林更推荐用OOB误差做特征选择，伪AIC仅作为近似参考。

2. XGBoost的AIC计算 #

XGBoost支持基于平方误差目标（对应正态分布似然）计算对数似然，进而得到标准AIC：

import xgboost as xgb
import numpy as np

def xgb_aic(model, y_true):
    n = len(y_true)
    # 从模型评估结果中获取RMSE，转换为MSE
    rmse = model.evals_result()['validation_0']['rmse'][-1]
    mse = np.square(rmse)
    # 计算正态分布假设下的对数似然
    log_likelihood = -n/2 * (np.log(2 * np.pi) + np.log(mse))
    # 用模型使用的特征数作为参数数量k
    k = model.get_booster().num_features()
    aic = 2 * k - 2 * log_likelihood
    return aic

# 使用示例
dtrain = xgb.DMatrix(X_train, label=y_train)
params = {'objective': 'reg:squarederror', 'eval_metric': 'rmse'}
xgb_model = xgb.train(params, dtrain, num_boost_round=100, evals=[(dtrain, 'validation_0')])
aic_val = xgb_aic(xgb_model, y_train)

3. LightGBM的AIC计算 #

LightGBM可通过预测残差计算正态分布假设下的对数似然，进而得到AIC：

import lightgbm as lgb
import numpy as np
from sklearn.metrics import mean_squared_error

def lgb_aic(model, y_true, y_pred):
    n = len(y_true)
    mse = mean_squared_error(y_true, y_pred)
    log_likelihood = -n/2 * (np.log(2 * np.pi) + np.log(mse))
    # 用模型的特征数量作为参数数量k
    k = model.num_feature()
    aic = 2 * k - 2 * log_likelihood
    return aic

# 使用示例
lgb_train = lgb.Dataset(X_train, y_train)
params = {'objective': 'regression', 'metric': 'mse'}
lgb_model = lgb.train(params, lgb_train, num_boost_round=100)
y_pred = lgb_model.predict(X_train)
aic_val = lgb_aic(lgb_model, y_train, y_pred)

补充说明：集成模型的AIC本身没有线性模型那样严谨的统计理论支撑，如果你核心目标是避免过拟合、筛选特征，优先考虑交叉验证误差、OOB误差（随机森林）等更直接的指标，AIC可作为辅助参考。

内容的提问来源于stack exchange，提问作者user3476463