R语言合并DHS聚合数据框时出现大量NA值的技术求助

背景 #

我是仅掌握R基础的数据分析新手，正在基于DHS调查数据分析肯尼亚女性聚合一夫多妻制水平与理想家庭规模（IFS）的关系，聚合维度包括区域、族群（标识变量V131）及宗教群体。

已完成步骤 #

• 生成区域聚合值：计算各区域一夫多妻婚姻女性占比，按阈值划分一夫多妻制水平（PolygynyLevel），此步骤正常；
• 按相同流程生成族群、宗教群体的聚合数据框；
• 尝试将上述聚合数据合并至回归数据框（每行对应一位受访者，需包含各维度聚合一夫多妻制水平），但合并后半数列几乎全为NA值。

尝试的合并代码 #

# Merge with Religious Data
regression_data <- merge(regression_data, merged_religious_data[, c("ReligiousGroup", "PolygynyLevel")], by.x = "ReligiousGroup", by.y = "ReligiousGroup", all.x = TRUE)
Warning message:
In merge.data.frame(regression_data, merged_religious_data[, c("ReligiousGroup",  :
  column names ‘PolygynyLevel.x’, ‘PolygynyLevel.y’ are duplicated in the result

# Merge with Ethnic Data
regression_data <- merge(regression_data, merged_ethnic_data[, c("V131", "PolygynyLevel")], by.x = "V131", by.y = "V131", all.x = TRUE)
Warning message:
In merge.data.frame(regression_data, merged_ethnic_data[, c("V131",  :
  column names ‘PolygynyLevel.x’, ‘PolygynyLevel.y’, ‘PolygynyLevel.x’, ‘PolygynyLevel.y’ are duplicated in the result

问题表现 #

合并后数据摘要显示大量NA，且观察发现R似乎把组标签视为个体，仅保留每组一条数据，其余全为NA，无法定位问题原因，求技术帮助。

解决思路与实操步骤 #

1. 先排查合并键的取值一致性 #

NA大量出现的核心原因几乎都是合并两边的键值不匹配，先做这几步检查：

• 对比regression_data中的ReligiousGroup、V131，和聚合数据框里的对应列，看是否存在大小写差异、多余空格、特殊字符编码问题（比如肯尼亚本地族群/宗教名称的拼写不一致）；
• 用基础R代码统计匹配率：

  # 统计宗教群体的匹配情况
  table(regression_data$ReligiousGroup %in% merged_religious_data$ReligiousGroup)
  # 统计族群的匹配情况
  table(regression_data$V131 %in% merged_ethnic_data$V131)
  

  如果返回的FALSE数量很多，说明有大量受访者的组标签在聚合数据里不存在，需要回溯聚合数据的生成步骤，确认是否漏算了某些组。

2. 重命名聚合数据的PolygynyLevel列，避免重复 #

你现在的合并会因为多次引入同名字段产生PolygynyLevel.x/y的混乱，先给每个维度的水平列单独命名：

# 基础R写法（无需额外包）
names(merged_religious_data)[names(merged_religious_data) == "PolygynyLevel"] <- "PolygynyLevel_Religion"
names(merged_ethnic_data)[names(merged_ethnic_data) == "PolygynyLevel"] <- "PolygynyLevel_Ethnic"

# 如果你用dplyr的话，写法更简洁
# merged_religious_data <- merged_religious_data %>% rename(PolygynyLevel_Religion = PolygynyLevel)
# merged_ethnic_data <- merged_ethnic_data %>% rename(PolygynyLevel_Ethnic = PolygynyLevel)

3. 分步合并并逐步检查NA #

不要一次性合并所有数据，每完成一次合并就检查目标列的NA数量，定位问题出在哪一步：

# 合并宗教聚合数据
regression_data <- merge(regression_data, 
                         merged_religious_data[, c("ReligiousGroup", "PolygynyLevel_Religion")],
                         by = "ReligiousGroup", 
                         all.x = TRUE)
# 检查该列NA数量
sum(is.na(regression_data$PolygynyLevel_Religion))

# 合并族群聚合数据
regression_data <- merge(regression_data, 
                         merged_ethnic_data[, c("V131", "PolygynyLevel_Ethnic")],
                         by = "V131", 
                         all.x = TRUE)
# 检查该列NA数量
sum(is.na(regression_data$PolygynyLevel_Ethnic))

4. 确认聚合数据的唯一性 #

确保你的聚合数据框里，每个组（宗教/族群）只对应一条记录（也就是每组只有一个PolygynyLevel值），用下面的代码检查：

# 检查宗教聚合数据是否有重复组
anyDuplicated(merged_religious_data$ReligiousGroup)
# 检查族群聚合数据是否有重复组
anyDuplicated(merged_ethnic_data$V131)

如果返回值大于0，说明存在重复的组记录，需要重新生成聚合数据（比如用aggregate()或者dplyr::distinct()去重）。

5. 替代方案：用dplyr::left_join更直观 #

如果你能使用dplyr包，left_join的语法更清晰，自动处理列名冲突的问题也更友好：

library(dplyr)

regression_data <- regression_data %>%
  left_join(merged_religious_data %>% select(ReligiousGroup, PolygynyLevel_Religion = PolygynyLevel),
            by = "ReligiousGroup") %>%
  left_join(merged_ethnic_data %>% select(V131, PolygynyLevel_Ethnic = PolygynyLevel),
            by = "V131")

内容的提问来源于stack exchange，提问作者SadGypsy