如何高效将购物交易DataFrame转换为稀疏矩阵（R语言）

核心思路 #

用向量化操作替代逐行循环，结合基础R或轻量包实现高效转换，同时保持代码对新手友好。

步骤1：拆分商品列表并整理成购物车-商品配对 #

方案A：基础R（无额外依赖） #

# 拆分每个购物车的逗号分隔商品列表
split_items <- strsplit(transactions$V1, ",", fixed = TRUE)

# 生成带唯一购物车标识的配对数据框
cart_item_df <- data.frame(
  cart_id = paste(transactions$member, transactions$Date, sep = "_"),
  item = unlist(split_items),
  stringsAsFactors = FALSE
)

# 清理无效数据（空商品条目）
cart_item_df <- cart_item_df[cart_item_df$item != "" & !is.na(cart_item_df$item), ]

方案B：data.table（更快，适合大数据集） #

如果数据量较大，data.table的拆分效率远高于基础R：

library(data.table)
setDT(transactions)

# 拆分商品并自动关联购物车标识
cart_item_dt <- transactions[, .(item = tstrsplit(V1, ",", fixed = TRUE)), 
                             by = .(cart_id = paste(member, Date, sep = "_"))]

# 清理无效数据
cart_item_dt <- cart_item_dt[!is.na(item) & item != ""]

步骤2：生成稀疏逻辑矩阵 #

基础R版（普通逻辑矩阵） #

# 生成商品出现次数的计数矩阵，再转为逻辑型（存在=TRUE，不存在=FALSE）
count_mat <- xtabs(~ cart_id + item, data = cart_item_df)
logical_mat <- as.matrix(count_mat) > 0

稀疏矩阵版（超大数据集首选，省内存） #

如果商品数量多、多数购物车仅含少量商品，用Matrix包的稀疏矩阵可大幅降低内存占用：

library(Matrix)

# 将购物车和商品转为因子（用于生成矩阵索引）
cart_factor <- factor(cart_item_df$cart_id)
item_factor <- factor(cart_item_df$item)

# 构建稀疏逻辑矩阵
sparse_logical_mat <- sparseMatrix(
  i = as.integer(cart_factor),
  j = as.integer(item_factor),
  x = TRUE,
  dimnames = list(levels(cart_factor), levels(item_factor))
)

关键优化点 #

• 抛弃逐行循环：用strsplit/tstrsplit的向量化拆分替代低效循环
• 提前清理无效数据：移除空商品条目，减少后续计算量
• 利用稀疏矩阵特性：大场景下避免存储大量冗余FALSE值，提升运行效率

内容的提问来源于stack exchange，提问作者Joshua Noble