pandas groupby调用statsmodels公式OLS回归报IndexError原因查询

• 核心触发原因是分组后的部分子组中，回归公式Y ~ x1 + x2:x3涉及的变量Y/x1/x2/x3没有有效非空值，或有效样本量为0。statsmodels处理缺失值时，拿到的变量数组为空，访问数组的shape[0]属性时触发索引越界错误。
• 次要潜在问题：部分子组有效样本量小于回归所需的自变量个数，无法构建有效回归矩阵，也可能触发同类报错。

1. 先做数据预处理，过滤回归变量全为空的无效行

# 提取回归依赖的所有字段，删除核心变量为空的行
reg_fields = ['TICKER', 'year', 'month', 'Y', 'x1', 'x2', 'x3']
data_valid = data[reg_fields].dropna(subset=['Y', 'x1', 'x2', 'x3'])

2. 改写分组回归逻辑，增加子组合法性判断，避免无效子组触发报错

import statsmodels.formula.api as smf

def group_regression(group):
    # 自变量包括截距、x1、x2:x3交互项，样本量至少要大于3才能正常回归
    if len(group) < 4:
        return None
    try:
        # 构建模型并拟合，指定missing='drop'自动丢弃子组内剩余的空值行
        reg_model = smf.ols(formula='Y ~ x1 + x2:x3', data=group, missing='drop').fit()
        # 可按需返回回归系数、p值、全模型对象等，此处以返回系数为例
        return reg_model.params
    except:
        # 捕获共线性等其他回归异常，避免整体程序中断
        return None

# 分组运行回归，删除返回为空的无效分组结果
reg_results = data_valid.groupby(['TICKER','year','month']).apply(group_regression).dropna()

内容的提问来源于stack exchange，提问作者user9875321__