机场空侧受管制飞机占比机器学习预测模型优化问询

一、数据预处理优化 #

1. 处理静态特征（长期不变的机场属性） #

部分机场特征（如跑道数量、航站楼规模等静态属性）在24个月周期内无变化，这类特征易引入冗余，可通过以下方式处理：

• 提取静态特征，结合机场类型（大/中/小型）做分层训练，或生成静态特征与动态特征的交叉项（如「机场跑道数×月度航班量」），增强特征区分度；
• 借助树模型的feature_importances_属性筛选特征，直接移除对预测无贡献的静态特征。

2. 解决多重共线性问题 #

多重共线性会干扰线性模型系数稳定性，对树模型虽影响较小，但仍会增加冗余：

• 计算特征间皮尔逊相关系数，对相关系数>0.7的特征组，保留特征重要性更高的项；
• 用**方差膨胀因子（VIF）**检测共线性，VIF>10的特征优先移除或合并；
• 线性模型可改用**L1正则化（Lasso）**自动筛选特征，树模型可提前降维减少冗余。

3. 针对性的特征缩放 #

当前代码统一使用StandardScaler，但不同模型对缩放需求不同：

• 线性模型、SVR、GB/XGB（部分参数下）对特征缩放敏感，必须标准化；
• 树模型（RF、GB、XGB）本身不依赖缩放，但后续做模型集成时，统一缩放更稳妥；
• 区分特征类型处理：流量类用标准化，比例类用归一化，避免单一缩放损失信息。

二、模型调优升级 #

1. 完善超参数调优 #

当前代码GridSearchCV的param_grid为空，未发挥调优作用，针对不同模型给出核心调参方向：

• Random Forest：重点调n_estimators、max_depth、min_samples_split、max_features；
• XGBoost：核心调learning_rate、max_depth、n_estimators、subsample、colsample_bytree、gamma；
• Gradient Boosting：重点调learning_rate、n_estimators、max_depth；
• SVR：调C、gamma、kernel（优先尝试rbf/poly）；
• 样本量较小（仅1788行），可改用RandomizedSearchCV替代GridSearchCV，在大参数空间快速找到较优解。

2. 模型集成提升性能 #

单个模型性能有瓶颈，可尝试集成方法：

• Stacking集成：用LR、SVR做基模型，XGBoost做元模型，融合多模型预测结果；
• Blending：将训练集拆分，一部分训练基模型，另一部分生成基模型预测结果，再用该结果训练元模型；
• 替换为更高效的Boosting模型：如LightGBM、CatBoost，对类别特征和不平衡数据适配性更强。

3. 目标变量针对性优化 #

目标为比例值（延误占比），可做以下适配：

• 若目标分布不平衡（多数样本延误占比低），采用加权损失函数（如XGB的scale_pos_weight，或自定义加权MSE）；
• 对比例型目标做对数变换（y = np.log(y/(1-y))），转换为连续值后拟合，预测后再逆变换；
• 自定义损失函数：重点惩罚高延误占比样本的预测误差，贴合业务决策需求。

三、训练流程优化 #

1. 改进数据划分方式 #

当前随机划分会导致面板数据（时间+多机场）的泄露问题，需调整划分逻辑：

• 时间划分：用前20个月数据训练，后4个月数据测试，贴合真实业务预测场景；
• 机场划分：用70个机场数据训练，8个机场数据测试，验证模型对未知机场的泛化能力。

2. 合理的交叉验证 #

当前5折交叉验证未考虑面板数据结构，改用分组交叉验证：

• 按机场分组，确保同一机场的不同月份数据不同时出现在训练/验证集，用GroupKFold实现，避免数据泄露。

3. 代码冗余优化 #

当前代码存在两段重复的最佳模型判断逻辑，可合并；同时GridSearchCV可同时监控多指标：

from sklearn.metrics import make_scorer

scoring = {
    'mse': 'neg_mean_squared_error',
    '10%_error': make_scorer(within_10_percent_error)
}
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, 
                           scoring=scoring, cv=5, refit='10%_error')

选择综合表现最优的模型。

四、特征工程拓展 #

1. 时间维度特征衍生 #

基于24个月的时间信息，生成业务相关特征：

• 月度、季度标记，节假日/春运/暑运标识；
• 同比/环比特征：当月航班量与上月、去年同月的比值；
• 滚动统计特征：过去3个月的平均航班量、最大延误占比等。

2. 业务场景特征融合 #

结合机场空侧业务知识，生成专属特征：

• 跑道利用率=航班数/跑道数量；
• 管制员负荷=航班数/在岗管制员数量；
• 补充天气特征（如月度降雨天数、能见度均值），提升模型对外部因素的拟合能力。

内容的提问来源于stack exchange，提问作者Edvin Simic