R dplyr高效优化：百万级数据集的分数到评级映射

问题背景 #

我有一个约100万行的数据集，包含客户分数列（范围0-100），需要将分数映射为1-15的评级。当前使用purrr::map的逐行处理方案效率极低，耗时超1小时，需替换为非map的高效向量化实现，复现如下示例结果：

示例数据与映射表 #

# 生成示例客户数据
set.seed(1)
n_customers <- 10

customer_df <-
  tibble(id = c(1:n_customers),
         score = sample(50:80, n_customers, replace = TRUE))

# 评级映射表
rating_map <- tibble(
  max = c(
    47.0,
    53.0,
    57.0,
    60.5,
    63.0,
    65.5,
    67.3,
    69.7,
    71.7,
    74.0,
    76.3,
    79.0,
    82.5,
    85.5,
    100.00
  ),
  rating = c(15:1)
)

原低效实现 #

customer_df <-
  customer_df %>%
  mutate(rating = map(.x = score,
                      .f = ~max(select(filter(rating_map, .x < max),rating))
                      )
         ) %>%
  unnest(rating)

目标示例输出 #

# A tibble: 10 x 3
      id score rating
   <int> <int>  <int>
 1     1    74      5
 2     2    53     13
 3     3    56     13
 4     4    50     14
 5     5    51     14
 6     6    78      4
 7     7    72      6
 8     8    60     12
 9     9    63     10
10    10    67      9

高效解决方案 #

以下方案均为向量化操作，避免逐行循环，处理百万级数据仅需数秒至数十秒：

方案1：Base R findInterval（最快方案） #

findInterval是Base R中专门用于区间匹配的函数，直接对整个向量操作，效率极高：

# 直接添加rating列
customer_df$rating <- rating_map$rating[findInterval(customer_df$score, rating_map$max, rightmost.closed = TRUE) + 1]

原理：findInterval返回每个分数在rating_map$max中的区间索引，rightmost.closed = TRUE确保最高分数100被包含在最后一个区间。由于我们需要的是第一个大于分数的max对应的评级，因此索引+1即可匹配正确的评级值。

方案2：dplyr 向量化实现 #

利用矩阵运算实现批量匹配，无需循环：

library(dplyr)

customer_df <- customer_df %>%
  mutate(rating = rating_map$rating[max.col(outer(score, rating_map$max, "<"))])

原理：outer(score, rating_map$max, "<")生成一个矩阵，每行对应一个分数与所有max值的比较结果；max.col找到每行最后一个TRUE的位置（即最大的满足score < max的索引），直接匹配对应的评级。

方案3：data.table 滚动连接（超大数据最优） #

对于百万级以上的超大数据，data.table的滚动连接性能优势显著：

library(data.table)

# 转换为data.table格式
setDT(customer_df)
setDT(rating_map)

# 设置键并执行滚动连接
setkey(rating_map, max)
customer_df <- rating_map[customer_df, on = .(max > score), roll = Inf][, .(id, score, rating)]

原理：滚动连接会为每个分数自动匹配第一个大于它的max值，roll = Inf确保所有分数都能找到对应的区间，最后整理出需要的列即可。

内容的提问来源于stack exchange，提问作者RLH