Probit模型中手动识别排除完全预测组的技术咨询

问题1：手动识别完全预测组并排除的可行性与结果一致性 #

• 可以手动识别这类完全预测组，核心逻辑是按分组变量（比如year）检查每组内结果变量的取值是否完全一致：
  • 直接可用的Stata代码：

    * 按year分组，提取每组结果变量y的最小和最大值
    bysort year: egen y_min = min(y)
    bysort year: egen y_max = max(y)
    * 标记出结果全为0或全为1的完全预测组
    gen perfect_pred = (y_min == y_max)
    

  • 运行probit时加if !perfect_pred排除这些组的操作是合理的，而且最终估计结果和Stata自动剔除后的结果完全一致。因为Stata自动处理分离问题时，本质就是剔除这些导致完全预测的观测组，手动排除只是提前完成了这个步骤，模型估计的都是剩余有效样本的参数。

问题2：手动排除后对全样本预测IMR的有效性 #

• 不能通过这种方式得到被排除组的正确逆米尔斯比率（IMR），原因如下：
  • 完全预测组的观测存在分离问题，这类样本在原模型中是无法参与参数估计的，对应的IMR本身没有统计定义：当组内y全为1时，潜变量理论上趋近于正无穷，IMR会趋近于0；当组内y全为0时，潜变量趋近于负无穷，IMR趋近于负无穷，实际中没有合理的估计值。
  • 如果强行用排除后的模型对被排除组预测IMR，得到的只是基于模型参数对该组x计算的数值，完全不符合IMR的统计含义，没有实际分析价值。

内容的提问来源于stack exchange，提问作者user917983