高效将纵向表格转换为横向表格的方法求助

先做内存预处理 #

• 手动释放内存：执行gc()触发R的垃圾回收，同时关闭其他占用系统内存的程序，腾出资源。
• 优化数据类型：
  • 将特征列转为因子类型：df$feature <- as.factor(df$feature)，因子比字符向量占用内存少很多。
  • 将ID列转为整数编码（如果是字符串ID）：df$ID <- as.integer(factor(df$ID))，后续转宽后可再转回原格式。
  • 提前去重：如果原表存在重复的ID-特征组合，先执行df <- df %>% distinct(ID, feature)，避免冗余数据占用内存。

高效转宽方法（控制列数为23列） #

因为每个ID最多对应22个特征，所以先给每个ID内的特征按顺序编号，再转宽，避免生成多余列。

方法1：用data.table（速度最快，内存效率最高） #

library(data.table)
# 转换为data.table格式
setDT(df)
# 给每个ID内的特征编号（feature_1到feature_22）
df[, feature_num := paste0("feature_", seq_len(.N)), by = ID]
# 转宽，指定填充NA，自动生成最多23列
wide_df <- dcast(df, ID ~ feature_num, value.var = "feature", fill = NA)

方法2：用tidyverse工具 #

library(tidyverse)
# 给每个ID内的特征编号
df <- df %>% 
  group_by(ID) %>% 
  mutate(feature_num = str_c("feature_", row_number())) %>% 
  ungroup()
# 转宽，填充NA
wide_df <- df %>% 
  pivot_wider(
    names_from = feature_num, 
    values_from = feature, 
    values_fill = NA,
    # 强制保留所有22个特征列，避免不同ID列数不一致
    names_expand = TRUE
  )

极端内存不足时的分块处理 #

如果单批次处理还是内存不够，把ID分成多个批次，分批转宽后合并：

library(tidyverse)
# 获取所有唯一ID并分块
all_ids <- unique(df$ID)
# 分成10个批次，可根据内存调整数量
batches <- split(all_ids, cut(seq_along(all_ids), 10, labels = FALSE))

wide_list <- list()
for (i in seq_along(batches)) {
  # 处理单个批次
  batch_wide <- df %>% 
    filter(ID %in% batches[[i]]) %>% 
    group_by(ID) %>% 
    mutate(feature_num = str_c("feature_", row_number())) %>% 
    ungroup() %>% 
    pivot_wider(
      names_from = feature_num, 
      values_from = feature, 
      values_fill = NA,
      names_expand = TRUE
    )
  wide_list[[i]] <- batch_wide
  gc() # 每批处理完立即清理内存
}
# 合并所有批次结果
wide_df <- bind_rows(wide_list)

内容的提问来源于stack exchange，提问作者freeflight