R语言：生成非等长因子水平的高效替代方法

针对你这种超200万行的大数据场景，绝对要避开循环或者逐行处理的坑，得用向量化、分组式的高效操作。下面给你两种在R里最实用的方案，都是专门优化过大数据处理的：

方案1：用data.table（速度最优，推荐大数据） #

data.table的分组操作是C级别的底层实现，处理百万级数据的速度比基础R快几个数量级，内存效率也极高。步骤如下：

library(data.table)

# 把data.frame转换为data.table（如果原数据还不是的话）
setDT(df)

# 先把字符型日期转成日期格式，确保排序逻辑正确
df[, snapshot_at := as.Date(snapshot_at)]

# 按id分组排序，然后生成组内的非等长因子水平
df <- df[order(id, snapshot_at)]
df[, repayment_order := factor(seq_len(.N)), by = id]

关键说明： #

• .N是data.table内置的分组内行数字段，seq_len(.N)直接生成1到N的序列，简洁又高效
• factor()会自动为每个id生成独立的因子水平（长度等于该id的还款记录数），完美满足非等长需求
• 整个操作是原地分组向量化处理，没有多余的中间对象，200万行数据几秒就能处理完

方案2：用dplyr（Tidyverse风格，代码更易读） #

如果你习惯tidyverse的语法，dplyr的分组操作也能高效处理这类场景，虽然速度略逊于data.table，但对于200万行数据完全够用：

library(dplyr)

df <- df %>%
  # 转换日期格式并按id+时间排序
  mutate(snapshot_at = as.Date(snapshot_at)) %>%
  arrange(id, snapshot_at) %>%
  # 按id分组，生成组内顺序并转成因子
  group_by(id) %>%
  mutate(repayment_order = factor(row_number())) %>%
  ungroup()

关键说明： #

• row_number()在分组内自动生成1到n的序列，直接转成因子就是每个id的非等长水平
• arrange()确保每个id的还款记录严格按时间顺序排列，避免原数据顺序混乱导致的错误
• 同样是向量化操作，没有逐行循环，代码可读性更强

为什么这两种方法比其他方法快？ #

• 基础R的split+lapply循环会产生大量中间对象，内存占用高，速度慢，完全不适合百万级数据
• 这两种方法都是底层优化的分组向量化操作，data.table甚至支持原地修改数据，进一步降低内存消耗
• 生成因子的过程直接在分组内完成，每个id的因子水平独立，完全符合非等长的需求

内容的提问来源于stack exchange，提问作者pd441