基于VIF的自动特征选择：修复循环终止异常问题

问题根源 #

原代码的循环终止判断存在三个关键问题：

• 仅检查第二个特征的VIF值（iloc[1]），而非所有特征
• 未处理VIF为inf的情况（完全共线性时会出现，inf远大于100，必须优先移除）
• 条件逻辑完全颠倒，导致本该继续循环的情况提前终止

修复方案 #

修改循环的终止判断逻辑，改为检查所有特征的VIF值是否都≤100，且不存在inf值。只要有任意一个特征的VIF>100或为inf，就继续循环移除高VIF特征。同时修正原代码中取最高VIF特征的错误（原代码误取了排序后的最后一个特征）。

修改后的完整循环代码：

multicollinearity = True

while multicollinearity:
    # 修正：vif_data是降序排序，最高VIF特征在第一行
    highest_vif_feature = vif_data['feature'].iloc[0]
    print('Removing: ', highest_vif_feature)
    df = df.drop(highest_vif_feature, axis=1)
    vif_data = compute_vif(df)
    # 修复后的终止判断：存在VIF>100或inf则继续循环
    multicollinearity = vif_data['VIF'].gt(100).any() or vif_data['VIF'].isinf().any()

关键说明 #

• gt(100).any()：批量检查是否有任意一个特征的VIF值大于100
• isinf().any()：检查是否存在完全共线性导致的inf值VIF特征
• 原代码中values[-1]的错误：因为compute_vif返回的是降序排序结果，最高VIF特征在第一行（iloc[0]），而非最后一行，这个错误会导致移除低VIF特征，完全偏离目标。

内容的提问来源于stack exchange，提问作者Danny Smith