使用dplyr join函数合并数据时新列全为NA的问题排查

关键排查步骤 #

• 验证连接键的实际交集
  列名、类型一致不代表键组合真的匹配，直接统计两个数据集的连接键交集：

  # 提取唯一的连接键组合
  keys_stat <- all_stat %>% select(NEAR_SITE, date, hour) %>% distinct()
  keys_mob <- mob %>% select(NEAR_SITE, date, hour) %>% distinct()
  
  # 查看共同存在的键组合数量
  common_keys <- inner_join(keys_stat, keys_mob)
  cat("共同键组合数量：", nrow(common_keys), "\n")
  

  如果结果为0，说明两个数据集完全没有匹配的键组合，自然新增列全为NA；如果数量极少，说明大部分键在mob中不存在。

• 排查date/hour的隐性格式差异
  即使表面显示的日期、小时一致，可能存在底层存储差异：

  • 比如date列一个是Date类型，另一个是带时间的POSIXct（显示相同但数值不同）
  • hour列可能存在隐形字符（如全角空格）或格式差异（比如"08"和8，类型一致但值不匹配）
    用以下代码验证：

  # 查看date的底层数值
  all_stat %>% mutate(date_num = as.numeric(date)) %>% select(date, date_num) %>% head()
  mob %>% mutate(date_num = as.numeric(date)) %>% select(date, date_num) %>% head()
  
  # 检查hour的差异
  cat("all_stat有但mob没有的hour：", setdiff(all_stat$hour, mob$hour), "\n")
  cat("mob有但all_stat没有的hour：", setdiff(mob$hour, all_stat$hour), "\n")
  

• 单个站点的匹配验证
  若仅单个站点有值，说明其他站点的键组合在mob中缺失，单独排查问题站点：

  # 替换为你的问题站点名称
  target_site <- "问题站点ID"
  site_stat <- all_stat %>% filter(NEAR_SITE == target_site)
  site_mob <- mob %>% filter(NEAR_SITE == target_site)
  
  # 查看site_stat中没有匹配的行
  unmatched <- anti_join(site_stat, site_mob, by = c("date", "hour"))
  print(unmatched)
  

• 确认连接方向是否正确
  你当前用的是right_join(all_stat, mob)，会保留mob的所有行并匹配all_stat的数据。如果需要保留all_stat的所有行并补充mob的字段，应该使用：

  all1 <- left_join(all_stat, mob, by = c("NEAR_SITE", "date", "hour"))
  

  连接方向错误会导致大量行无法匹配，出现NA。

• 检查mob的键重复情况
  如果mob中存在重复的(NEAR_SITE, date, hour)组合，可能导致匹配混乱；反之，如果键组合缺失，也会出现NA：

  # 查看mob中的重复键组合
  mob_duplicates <- mob %>% count(NEAR_SITE, date, hour) %>% filter(n > 1)
  print(mob_duplicates)
  

内容的提问来源于stack exchange，提问作者bre123