R语言merge/left_join合并数据框出现重复行问题求助

先看看你提供的两个数据框：

df_gen（前5行）

Genus   mean_RA
1 Unclassified 0.1357401738
2 Lactobacillus 0.0003825068
3 Prevotella 9 0.0009573787
4 Anaerovibrio 0.0049035545
5 Roseburia 0.0026672558

df_tax（前8行）

Kingdom    Phylum       Class         Order          Family       Genus
1 Bacteria Bacteroidetes Bacteroidia Bacteroidales Prevotellaceae Prevotella 9
2 Bacteria Bacteroidetes Bacteroidia Bacteroidales Prevotellaceae Prevotella 9
3 Bacteria Bacteroidetes Bacteroidia Bacteroidales Prevotellaceae Prevotella 9
4 Bacteria Firmicutes    Bacilli     Lactobacillales Lactobacillaceae Lactobacillus
5 Bacteria Firmicutes    Negativicutes Selenomonadales Veillonellaceae Anaerovibrio
6 Bacteria Firmicutes    Negativicutes Selenomonadales Veillonellaceae Anaerovibrio
7 Bacteria Firmicutes    Bacilli     Lactobacillales Lactobacillaceae Lactobacillus
8 Bacteria Firmicutes    Clostridia   Clostridiales Lachnospiraceae Roseburia

问题原因 #

你遇到的重复行问题很明确：df_tax里存在大量重复的Genus条目，同一个Genus对应了多条完全一致的分类学记录。当你用merge或者left_join以Genus为键合并时，R会执行标准的数据库连接逻辑——每找到一对匹配的行就保留一行，所以df_gen里的单一行会和df_tax里所有匹配的行分别组合，自然就出现了重复。

解决方法 #

核心思路是先对df_tax去重，保留每个Genus对应的唯一分类学信息，再和df_gen合并：

1. 对df_tax去重

你可以用base R或者dplyr来实现：

# 用dplyr的方式（更直观）
library(dplyr)
df_tax_unique <- df_tax %>% 
  distinct(Genus, .keep_all = TRUE)  # 按Genus去重，保留其他列的信息

# 用base R的方式
df_tax_unique <- df_tax[!duplicated(df_tax$Genus), ]

处理后，df_tax_unique里每个Genus只会出现一次，对应的分类学信息也唯一。

2. 执行合并操作

用去重后的df_tax_unique和df_gen合并，就能得到你想要的结果：

# base R merge
merged_df <- merge(df_gen, df_tax_unique, by = "Genus", all.x = TRUE)

# dplyr left_join
merged_df <- df_gen %>% 
  left_join(df_tax_unique, by = "Genus")

预期结果 #

合并后的数据集行数会和df_gen完全一致，每个Genus只对应一条分类学记录，Unclassified因为在df_tax里没有匹配项，分类学列会显示NA，完全符合你的需求。

内容的提问来源于stack exchange，提问作者ALG