如何高效扩展含逗号分隔分类列的DataFrame并生成组合列？

完全理解你的痛点——逐行循环处理大数据量的时候速度确实拉胯，下面给你几个用tidyverse、data.table或者基础R实现的高效方案，比循环快得多：

方法一：用tidyverse（dplyr + tidyr）实现 #

这是最直观易读的方式，适合大多数场景：

首先加载依赖包：

library(dplyr)
library(tidyr)

然后处理数据（注意提前关闭字符串转因子的默认行为，避免不必要的麻烦）：

startDF <- data.frame(
  uq_id = c("44ffd", "t3dd", "rrk33--ds", "limmt3"),
  keyword = c("citizen", "river", "mouse", "hello"),
  categories = c("App, Restaurant, Hotel", "Field, Place", "Movie", "App, Hotel, Theater, Show"),
  stringsAsFactors = FALSE
)

endDF <- startDF %>%
  # 按逗号（含后续空格）拆分categories，自动生成多行
  separate_rows(categories, sep = ",\\s*") %>%
  # 拼接关键词与分类
  mutate(combo = paste(keyword, categories)) %>%
  # 保留需要的列
  select(uq_id, combo)

运行后得到的结果和你期望的完全一致，separate_rows是向量化操作，底层优化过，比循环效率高很多。

方法二：用data.table实现（极致性能） #

如果你的数据量特别大（比如几十万甚至上百万行），data.table的速度优势会非常明显：

library(data.table)

# 把普通DataFrame转为data.table格式
setDT(startDF)

endDF <- startDF[, 
                 # 按逗号拆分每个分组的categories
                 .(categories = strsplit(categories, ",\\s*")[[1]]), 
                 # 按uq_id和keyword分组
                 by = .(uq_id, keyword)
                 ][, 
                   # 拼接生成combo列
                   combo := paste(keyword, categories)
                   ][, 
                     # 保留目标列
                     .(uq_id, combo)]

data.table的分组操作是高度优化的，内存和速度表现都远超普通循环。

方法三：基础R实现（无第三方依赖） #

如果不想加载额外包，用基础R的向量化操作也能搞定：

# 拆分所有categories，得到一个包含多个向量的列表
cat_list <- strsplit(startDF$categories, ",\\s*")

# 计算每个行需要扩展的次数（即每个categories拆分后的元素数）
rep_times <- sapply(cat_list, length)

# 扩展uq_id和keyword列，匹配拆分后的行数
uq_id_expanded <- rep(startDF$uq_id, rep_times)
keyword_expanded <- rep(startDF$keyword, rep_times)

# 把拆分后的categories展开为一维向量
cat_expanded <- unlist(cat_list)

# 生成最终结果DataFrame
endDF <- data.frame(
  uq_id = uq_id_expanded,
  combo = paste(keyword_expanded, cat_expanded),
  stringsAsFactors = FALSE
)

这个方法完全依赖基础函数，没有外部依赖，速度同样远胜逐行循环——因为所有操作都是向量化的，避免了R层面逐行迭代的开销。

核心优势说明 #

这些方案都是向量化操作，R会在底层C语言层面批量处理数据，而逐行循环是在R层面做迭代，每次循环都有额外的性能损耗，数据量越大，两者的速度差距就越明显。

内容的提问来源于stack exchange，提问作者Joe