如何对含字符与整数的IPUMS数据集进行回归及抽样？

1. 修复NA过滤的类型不匹配错误 #

报错核心原因是OFFPOV为整数类型，你用字符串"NA"做比较导致类型冲突。R中判断数值型变量的缺失值必须用is.na()函数，而非字符串匹配。若IPUMS数据用特定编码（如9/99等）表示缺失，需结合变量编码本补充过滤条件：

# 过滤OFFPOV的缺失值（整数型缺失用is.na）
elderly <- filter(elderly, !is.na(OFFPOV))
# 若IPUMS编码中OFFPOV用9表示缺失，需额外过滤：
# elderly <- filter(elderly, OFFPOV != 9, !is.na(OFFPOV))

2. 合理转换变量类型（避免全量转factor） #

线性回归要求连续变量保持数值型，只有分类变量适合转成factor。你之前把所有变量转成factor，导致AGE、INCTOTAL等连续变量变成分类，lm()无法正常计算。需指定分类变量单独转换：

# 列出需要转成factor的分类变量（根据IPUMS变量定义调整）
cat_vars <- c("SEX", "MARST", "RACE", "BPL", "EDUC", "EMPSTAT", "OFFPOV", "YEAR")
elderly_clean <- mutate(elderly, across(all_of(cat_vars), as.factor))
# 连续变量（AGE, PERWT, INCWAGE等）保持数值型即可

3. 大数据集随机抽样 #

250万条观测可通过随机抽样降低计算压力，用slice_sample()指定抽样数量或比例：

# 抽样50000条（可根据分析需求调整数量）
sampled_elderly <- slice_sample(elderly_clean, n = 50000, replace = FALSE)
# 或按比例抽样（比如抽取2%的样本）
# sampled_elderly <- slice_sample(elderly_clean, prop = 0.02, replace = FALSE)

4. 运行线性回归（含IPUMS抽样权重） #

IPUMS数据的PERWT是抽样权重，回归时需加入权重参数保证结果准确性：

# 示例回归：以INCTOTAL为因变量，AGE、SEX、MARST、OFFPOV为自变量
model <- lm(INCTOTAL ~ AGE + SEX + MARST + OFFPOV, data = sampled_elderly, weights = PERWT)
summary(model)

额外注意事项 #

• 检查IPUMS变量编码：EDUC、EMPSTAT等变量的数值对应分类标签，可参考DDI文档用ipums_val_labels()添加标签，便于结果解读。
• 处理收入变量缺失：INCWAGE、INCSS等收入变量通常用特殊编码（如999999）表示缺失，需提前过滤：

elderly <- filter(elderly, INCWAGE != 999999, INCSS != 999999, INCRETIR != 999999)

内容的提问来源于stack exchange，提问作者Ryanna Buganski