R语言dplyr包left_join关联后列全为NA的问题求助

嘿，我碰到过类似的大数据框连接坑，帮你梳理下问题和解决办法：

问题分析 #

你说的两个字符型数据框A（140万行）和B（170万行），按SNP列做left_join时出现的全NA情况，大概率不是dplyr的锅，而是数据导入时的格式错误导致SNP列的实际值不匹配——比如看起来一模一样的SNP字符串，实际藏着空格、分隔符解析残留的字符，自然匹配不上，连接后对应列就全成NA了：

• 从A左连B时，Illumina列全为NA
• 反向左连时，CHR、POSITION、REF、ALT列全为NA

你的问题根源 #

根据你后来的排查，问题确实出在A.txt的列分隔符是, （逗号+空格），如果导入时用了默认的纯逗号分隔，会导致SNP列（或其他列）的字符串末尾多了空格，和B数据框的SNP列值完全不匹配，最终连接后就出现了全NA的情况。

解决步骤 #

1. 重新正确导入数据框A #

一定要指定正确的分隔符, ，推荐用专门处理大数据的工具包，效率更高：

• 用readr包（tidyverse系列，处理百万级数据很稳）：

library(readr)
A <- read_delim("A.txt", delim = ", ", escape_double = FALSE, trim_ws = TRUE)

trim_ws = TRUE还能自动去除字符串两端的空格，从根源避免匹配问题。

• 用base R的read.table也可以：

A <- read.table("A.txt", sep = ", ", header = TRUE, stringsAsFactors = FALSE)

2. 验证SNP列的匹配性 #

导入后先确认两个数据框的SNP列真的有交集，避免白忙活：

# 查看交集数量，正常应该远大于0
length(intersect(A$SNP, B$SNP))
# 抽查几个值，看是否有隐藏空格
head(A$SNP)
head(B$SNP)
# 对比字符串长度，判断是否有额外字符
head(nchar(A$SNP))
head(nchar(B$SNP))

3. 重新执行left_join #

确认SNP列匹配正常后，再执行连接操作：

library(dplyr)
# A左连B
result_left_A <- left_join(A, B, by = "SNP")
# B左连A
result_left_B <- left_join(B, A, by = "SNP")

额外小建议 #

因为你的数据量是百万级，还可以试试data.table的merge，速度比dplyr快不少：

library(data.table)
setDT(A)
setDT(B)
# A左连B
result_dt <- merge(A, B, by = "SNP", all.x = TRUE)

内容的提问来源于stack exchange，提问作者Lucas