R语言nlme包拟合HLM模型二次项出现奇异收敛错误如何解决

报错核心原因 #

singular convergence报错本质是你要估计的模型参数远多于数据能提供的信息量，导致随机效应的方差-协方差矩阵无法非奇异估计，具体原因如下：

• 样本量完全不足以支撑复杂随机效应结构：你当前仅2个用户共6条观测，其中用户0059仅2条重复测量，而你指定的随机效应结构需要为每个用户估计3个参数（随机截距、response_ind一次项随机效应、response_ind二次项随机效应），仅用户层面就要估计6个随机效应值，外加3个随机方差、3个随机协方差、5个固定效应参数，参数数量已经超过观测数，属于严重过拟合。
• 二次项无有效变异：用户0059的response_ind仅取0和1两个值，此时I(response_ind^2)和response_ind完全等价，二者共线性直接导致矩阵奇异。
• 多项式项+交互项加剧共线性：未标准化的多项式项和交互项本身存在较高共线性，进一步加大估计难度。

可行解决步骤 #

1. 先大幅简化随机效应结构，优先保证模型收敛：
   先仅保留随机截距，确认基础模型可行后再逐步增加随机效应：

   # 先对连续变量标准化，降低共线性
   Data <- transform(Data,
                     response_ind_z = scale(response_ind),
                     total_daily_incoming_z = scale(total_daily_incoming),
                     active_day_z = scale(active_day))
   # 最简基线模型：仅保留随机截距
   mod_simple <- lme(
     who_score ~ response_ind_z + I(response_ind_z^2) + 
       total_daily_incoming_z + active_day_z +  
       active_day_z * total_daily_incoming_z,
     random =  ~ 1 | userId,
     data = Data,
     method = "ML",  
     control = list(msMaxIter = 1000, msMaxEval = 1000)
   )
   

2. 补充样本量：每个用户至少需要≥4次重复测量才能支持随机二次项的估计，整体用户数需要≥20个才能稳定估计随机效应的方差成分。
3. 样本量充足后如果仍要保留随机二次项，建议将随机效应的协方差结构设为对角型，取消随机效应之间的协方差估计，降低估计压力：

   mod_quad <- lme(
     who_score ~ response_ind_z + I(response_ind_z^2) + 
       total_daily_incoming_z + active_day_z +  
       active_day_z * total_daily_incoming_z,
     random = pdDiag(~ response_ind_z + I(response_ind_z^2) | userId),
     data = Data,
     method = "ML",  
     control = list(msMaxIter = 1000, msMaxEval = 1000)
   )
   

4. 排查共线性：如果固定效应VIF>10，优先去掉交互项再尝试拟合。

内容的提问来源于stack exchange，提问作者Navot Naor