R语言merge函数合并数据集后行数翻倍问题求助

嘿，作为新手遇到这种情况很正常，别担心！你用USA<-merge(USAdata,dow,by="Date",all=T)合并后行数翻倍，大概率是因为其中一个（或者两个）数据集的Date列存在重复值，merge的时候会对重复的日期做笛卡尔积匹配，导致行数暴增。

比如假设USAdata里2023-01-01出现了2次，dow里同一天也出现了2次，合并后这一天就会生成2×2=4行，整体行数自然就翻倍了。

下面给你一步步的解决方法：

第一步：检查Date列的重复情况 #

先确认两个数据集里有没有重复的日期，用这两行代码分别检查：

# 检查USAdata的Date重复情况
table(duplicated(USAdata$Date))

# 检查dow的Date重复情况
table(duplicated(dow$Date))

如果输出里TRUE的数量大于0，就说明存在重复日期。你也可以用更直观的方式查看重复的具体日期：

# 查看USAdata中重复的Date
USAdata[duplicated(USAdata$Date) | duplicated(USAdata$Date, fromLast = TRUE), ]

# 查看dow中重复的Date
dow[duplicated(dow$Date) | duplicated(dow$Date, fromLast = TRUE), ]

第二步：处理重复的Date值 #

根据你的数据类型，选择合适的处理方式：

• 如果重复行是完全一样的冗余数据：直接去重即可，用dplyr包的distinct函数（如果没装先运行install.packages("dplyr")）：

library(dplyr)
# 对USAdata去重，保留每个Date的第一行
USAdata_clean <- distinct(USAdata, Date, .keep_all = TRUE)
# 对dow去重
dow_clean <- distinct(dow, Date, .keep_all = TRUE)

• 如果重复行是不同的观测值：需要先聚合数据（比如取均值、求和，根据你的变量类型来），比如假设你要对数值列取均值：

# 聚合USAdata，按Date分组，数值列取均值
USAdata_agg <- USAdata %>%
  group_by(Date) %>%
  summarise(across(where(is.numeric), mean, na.rm = TRUE))

# 同理处理dow
dow_agg <- dow %>%
  group_by(Date) %>%
  summarise(across(where(is.numeric), mean, na.rm = TRUE))

第三步：重新合并数据集 #

处理完重复后，再用你原来的merge代码合并：

USA <- merge(USAdata_clean, dow_clean, by = "Date", all = TRUE)

或者用dplyr的full_join（和merge(..., all=T)效果一样）：

USA <- full_join(USAdata_clean, dow_clean, by = "Date")

这样合并后的行数就不会莫名其妙翻倍啦，你可以先检查重复情况，再根据数据实际情况选择去重或者聚合的方式~

内容的提问来源于stack exchange，提问作者Pietro Gallace