在R中高效查找一个DataFrame元素在另一个DataFrame中的位置

嘿，我完全懂你现在的痛苦——40万行数据用显式while循环加match，速度慢到让人抓狂！问题出在R的逐行循环本身效率极低，我们得换成向量化操作或者矩阵化处理，才能把速度提上去几个量级。

先快速回顾下你的数据场景：

• DF_A：每行以PARTY_ID为唯一标识，跟着一堆PROBS_XXXX列的数值
• DF_B：每行对应同一个PARTY_ID，有V1-V4四个数值，需要找到每个值在DF_A对应行里的列位置

最推荐的高效方案 #

方案1：矩阵化操作（速度最快，适合大数据量） #

把数据转成矩阵，利用R的向量化特性，避免逐行循环的开销：

# 第一步：确保两个DF的行按PARTY_ID对齐（如果没对齐必须先做这个！）
DF_A_sorted <- DF_A[order(DF_A$PARTY_ID), ]
DF_B_sorted <- DF_B[order(DF_B$PARTY_ID), ]

# 提取数值矩阵（排除PARTY_ID列）
A_mat <- as.matrix(DF_A_sorted[, -which(names(DF_A_sorted) == "PARTY_ID")])
B_mat <- as.matrix(DF_B_sorted[, c("V1", "V2", "V3", "V4")])

# 构造位置矩阵，逐列处理（比逐行快）
positions <- matrix(NA, nrow = nrow(B_mat), ncol = ncol(B_mat))
for (col_idx in 1:ncol(B_mat)) {
  # 对B的每一列，找到对应A行中匹配值的位置
  positions[, col_idx] <- apply(cbind(A_mat, B_mat[, col_idx]), 1, function(row) {
    which(row[-length(row)] == row[length(row)])[1] # 取第一个匹配位置，若要所有匹配去掉[1]
  })
}

# 组合结果，加上PARTY_ID和列名
result <- cbind(DF_B_sorted["PARTY_ID"], as.data.frame(positions))
colnames(result)[-1] <- paste0("POS_", 1:4)

方案2：用data.table处理（适合习惯data.table的用户） #

data.table的向量化操作在大数据量下表现极佳：

library(data.table)

# 转成data.table并对齐行顺序
setDT(DF_A)
setDT(DF_B)
DF_A <- DF_A[order(PARTY_ID)]
DF_B <- DF_B[order(PARTY_ID)]

# 把DF_A转成长格式，记录每个值对应的列位置
A_long <- melt(DF_A, id.vars = "PARTY_ID", 
               variable.name = "PROBS_COL", value.name = "VALUE")
A_long[, POS := .GRP, by = .(PARTY_ID, PROBS_COL)] # 按行和列生成位置

# 把DF_B转成长格式
B_long <- melt(DF_B, id.vars = "PARTY_ID", 
               variable.name = "V_COL", value.name = "VALUE")

# 匹配位置并转回宽格式
result_wide <- B_long[A_long, on = .(PARTY_ID, VALUE), POS := i.POS] %>%
  dcast(PARTY_ID ~ V_COL, value.var = "POS")

方案3：tidyverse风格（代码更易读） #

如果你习惯dplyr和purrr，用rowwise结合c_across也能实现，虽然速度比矩阵化慢一点，但代码更直观：

library(dplyr)
library(purrr)

# 对齐行顺序后合并数据
df_aligned <- DF_B %>%
  arrange(PARTY_ID) %>%
  bind_cols(DF_A %>% arrange(PARTY_ID) %>% select(-PARTY_ID))

# 逐行匹配位置
result <- df_aligned %>%
  rowwise() %>%
  mutate(
    POS_1 = match(V1, c_across(starts_with("PROBS_"))),
    POS_2 = match(V2, c_across(starts_with("PROBS_"))),
    POS_3 = match(V3, c_across(starts_with("PROBS_"))),
    POS_4 = match(V4, c_across(starts_with("PROBS_")))
  ) %>%
  ungroup() %>%
  select(PARTY_ID, POS_1, POS_2, POS_3, POS_4)

关键注意事项 #

1. 行对齐是前提：一定要确保DF_A和DF_B的PARTY_ID是一一对应的，行顺序完全一致，否则匹配结果会出错。如果行不对齐，先排序或者用merge关联。
2. 浮点数精度问题：如果你的数值是计算生成的，可能存在微小的精度误差，导致==匹配失败。这时候可以用near()函数替代，比如在data.table中写成on = .(PARTY_ID, near(VALUE, i.VALUE, tol = 1e-6))。
3. 重复值处理：match只会返回第一个匹配的位置，如果需要所有匹配的位置，把match换成which并处理返回的向量。

性能对比参考 #

• 你的原始while循环：40万行估计要几十分钟
• apply/tidyverse方案：几分钟就能跑完
• 矩阵化/data.table方案：几秒到十几秒搞定

内容的提问来源于stack exchange，提问作者Valeria Lobos Ossandán