R语言列表数据框合并后group_by分组拟合lm模型问题求解

• 分组后子集样本量不足以支撑模型拟合：按quarter分组后，部分分组的样本量小于等于自变量as.factor(month)的水平数，拟合无截距的因子回归时会耗尽全部自由度，没有多余残差自由度计算标准误、p值等统计量，broom处理时就会抛出异常。你提供的样例数据中quarter="2"分组仅有2条观测，对应的month刚好有2个不同取值，刚好属于这种触发异常的场景。
• 极端场景下如果某个分组只有1条观测，lm()会直接抛出“0 (non-NA) cases”或奇异性报错，直接中断整段代码运行。

方案1：提前筛选有效分组 #

分组后先过滤掉样本量不足的分组再执行回归，阈值可以根据你的自变量数量灵活调整：

lmout_lst <- map(out, 
                 ~ left_join(.x, df, by = c('id', 'month')) %>%
                   group_by(quarter) %>%
                   # 要求组内至少有5条观测再拟合，可自定义调整阈值
                   filter(n() >= 5) %>%
                   summarise(new = list(lm(pred_dif ~ as.factor(month) - 1) %>% 
                                          broom::tidy(.))) %>%
                   unnest(new))

方案2：调整回归模型降低样本量要求 #

如果业务逻辑允许，可将month作为连续变量而非因子纳入模型，仅需拟合1个自变量，对分组样本量的要求大幅降低：

lmout_lst <- map(out, 
                 ~ left_join(.x, df, by = c('id', 'month')) %>%
                   group_by(quarter) %>%
                   summarise(new = list(lm(pred_dif ~ month - 1) %>% 
                                          broom::tidy(.))) %>%
                   unnest(new))

方案3：添加错误捕获逻辑避免全流程中断 #

用purrr::possibly包裹拟合逻辑，自动跳过拟合失败的分组，不会打断整体运行：

# 定义安全拟合函数，出错时返回NULL
safe_lm_tidy <- possibly(function(data) {
  lm(pred_dif ~ as.factor(month) - 1, data = data) %>%
    broom::tidy()
}, otherwise = NULL)

lmout_lst <- map(out, 
                 ~ left_join(.x, df, by = c('id', 'month')) %>%
                   group_by(quarter) %>%
                   summarise(new = list(safe_lm_tidy(cur_data()))) %>%
                   # 剔除拟合失败的空值
                   filter(!sapply(new, is.null)) %>%
                   unnest(new))

内容的提问来源于stack exchange，提问作者vog