R语言中比melt.data.table内存效率更高的宽转长方法是什么？

• 方案1：优化data.table melt参数
  报错核心原因是Windows系统下R无法分配连续大块内存，先调整melt默认参数降低内存开销：

  melt(test, 
       id.vars='time',
       measure.vars=c('red','orange','yellow','green','blue','purple','violet','pink'),
       variable.name='color', 
       value.name="value",
       variable.factor = FALSE, # 关闭生成因子，减少内存占用
       na.rm = TRUE # 若存在缺省值直接过滤，减少最终行数
  )
  

  运行前先执行gc()清理内存碎片，必要时可通过setDTthreads(1)关闭多线程，避免多线程额外占用内存。
• 方案2：手动构造长表，跳过melt额外开销
  直接通过向量重复的方式拼接结果，比melt少了大量内部校验逻辑，内存开销更低：

  colors <- c('red','orange','yellow','green','blue','purple','violet','pink')
  n_color <- length(colors)
  n_row <- nrow(dt)
  res <- data.table(
    time = rep(dt$time, each = n_color),
    color = rep(colors, times = n_row),
    value = as.vector(t(dt[, .SD, .SDcols = colors]))
  )
  

• 方案3：使用内存效率更高的collapse包
  collapse包的透视函数底层为优化的C实现，内存表现优于data.table的melt：

  library(collapse)
  res <- pivot_longer(dt, 
                      ids = "time", 
                      names = "color", 
                      values = "value", 
                      cols = colors)
  

• 方案4：分块处理，避免全量载入内存
  若上述方案仍内存不足，采用分块读写的方式，全程仅保留单块数据在内存中：

  # 示例：分块读取原文件并处理
  block_size <- 1e7 # 每块读取1000万行，可根据内存调整
  file_path <- "你的原数据路径.csv"
  # 先统计总行数，Windows环境可替换为对应命令统计
  total_rows <- as.numeric(system(paste("wc -l", file_path), intern = T) |> strsplit(" ") |> _[[1]] |> _[1]) - 1
  # 循环分块处理
  for(i in seq(1, total_rows, by = block_size)) {
    dt_block <- fread(file_path, skip = i-1, nrows = block_size)
    long_block <- melt(dt_block, id.vars='time', measure.vars=colors, variable.name='color', value.name="value", variable.factor = F)
    # 首块写文件，后续块追加
    fwrite(long_block, "最终长表结果.csv", append = i != 1)
    # 清理内存
    rm(dt_block, long_block)
    gc()
  }
  

注意：Windows系统下R存在连续内存分配限制，处理大数据前建议重启R，关闭其他占用内存的软件，避免内存碎片导致的分配失败

内容的提问来源于stack exchange，提问作者MBorg