如何在R语言循环中移除.tsv文件V5列的重复行？

批量处理大量.tsv文件时，循环本身可正常运行，但部分文件的V5列存在重复值导致执行异常。需要移除V5列有重复值的行，尝试过unique()和!(duplicated())方法但未达到预期：

• unique(other_trait$V5)会删除其他列，仅保留V5列的唯一值
• other_trait[!(duplicated(other_trait$V5)), ]无明显效果

输入文件示例 #

输入.tsv文件示例（other_trait）：

V1         V2         V3   V4    V5                    
10        201874235  G   T   rs389130213 
10        201876195  G   C   rs121467298 
10        201876295  T   A   rs121467298 

现有处理代码 #

files <- list.files(path = ".", pattern = ".tsv")
files
datalist = list()
for(i in 1:length(files)) {  
  other_trait <- read.table(files[i])
  colnames(other_trait)[which(names(other_trait) == "V2")] <- "BP"
  other_trait<- merge(other_trait, subset_1[,c("BP","MAF")], by="BP")
  other_trait <- unique(other_trait$V5)
}

解决方案 #

问题出在两个核心点：

1. unique(other_trait$V5)直接提取V5列的向量，丢失了整个数据框结构，这不是你需要的结果
2. !(duplicated(other_trait$V5))仅保留每个重复V5值的第一次出现行，若你的需求是移除所有包含重复V5值的行（即只要某个V5值出现多次，所有对应行都删除），这个方法就不适用。

针对「移除所有重复V5值对应行」的修改 #

修改循环内的处理逻辑，先找出重复的V5值，再筛选出不包含这些值的行：

files <- list.files(path = ".", pattern = ".tsv")
datalist = list()
for(i in 1:length(files)) {  
  # 读取TSV文件，指定分隔符为制表符，确保列读取正确
  other_trait <- read.table(files[i], sep = "\t", header = TRUE)
  # 重命名V2列为BP
  colnames(other_trait)[colnames(other_trait) == "V2"] <- "BP"
  # 合并MAF数据
  other_trait <- merge(other_trait, subset_1[,c("BP","MAF")], by="BP")
  
  # 找出V5列中重复出现的值
  duplicated_v5 <- unique(other_trait$V5[duplicated(other_trait$V5)])
  # 筛选出V5不在重复值列表中的行
  other_trait_cleaned <- other_trait[!other_trait$V5 %in% duplicated_v5, ]
  
  # 将清理后的数据存入列表
  datalist[[i]] <- other_trait_cleaned
}

# 合并所有清理后的数据并输出到单个文件
final_data <- do.call(rbind, datalist)
write.table(final_data, "final_output.tsv", sep = "\t", row.names = FALSE, quote = FALSE)

若需求是「保留每个V5值的第一行，删除后续重复行」 #

则替换清理部分的代码为：

# 仅保留每个V5值的第一次出现行
other_trait_cleaned <- other_trait[!duplicated(other_trait$V5), ]

额外注意事项 #

• 读取TSV文件时必须指定sep="\t"，否则read.table默认用空格分隔，会导致列读取错误，进而影响后续的重复值判断
• 确保subset_1数据框中的BP列与other_trait的BP列格式一致，避免合并时出现匹配问题

内容的提问来源于stack exchange，提问作者holly