数据集子集化与调查设计对象子集化的差异及正确性探讨

问题描述 #

我正在使用survey package分析若干调查问题，因目标问题仅在部分数据收集周期中被问及，故只需数据集的一个子集。但以下两种方法得出的结果略有差异：

1. 为整个数据集构建调查设计对象，将目标周期设为分组变量更新后再开展分析；
2. 先筛选目标周期的观测值，再为该子集构建调查设计对象并进行分析。

例如执行基于设计的Wilcoxon检验时，两种方法的t-statistic和p-value存在细微差异。请问差异产生的原因是什么？哪种方法更“正确”？

差异原因 #

• 权重调整逻辑不同：方法1中，全样本的抽样权重基于原始抽样框架计算，分析子集时，survey包会自动对权重进行事后校准（如分层调整、权重修剪），确保子集权重仍符合原设计的代表性；方法2直接筛选子集后构建设计对象，权重仅保留原数值但未结合全样本抽样结构校准，标准化方式与方法1不同。
• 方差估计的计算差异：基于设计的检验（如Wilcoxon检验）依赖复杂抽样的方差估计方法（泰勒级数展开、复制权重等）。方法1会保留全样本的分层、聚类结构信息，即使分析子集，方差估计仍基于原设计的抽样结构；方法2筛选子集后，原分层/聚类可能被破坏（部分层/聚类无观测），方差估计只能基于子集结构重新计算，导致统计量和p值出现偏差。
• 缺失值与权重校准的忽略：若原数据中目标周期外的观测存在权重校准（如无应答调整），方法1会结合全样本的校准规则处理子集；方法2仅基于子集处理，会丢失全样本层面的权重校准信息，进一步放大结果差异。

哪种方法更“正确” #

方法1更符合复杂抽样调查的分析规范。

调查的抽样设计是基于全样本框架制定的，子集分析必须保留原设计的权重、分层、聚类等结构信息，才能保证结果对目标人群的代表性，以及统计推断的可靠性。方法2直接筛选子集后构建设计对象，相当于改变了原始抽样框架，权重无法准确反映目标人群的抽样概率，容易导致统计推断出现偏差。

内容的提问来源于stack exchange，提问作者seb-29