R语言data.table：为每行生成新数据表并规避内存向量错误

首先还原你的场景和测试数据：

示例数据 #

library(data.table)
A <- data.table(w=1:3,d=5:7)
B <- data.table(K=2:4,m=9:11)

输出的A和B分别为：

> A
   w d
1: 1 5
2: 2 6
3: 3 7

> B
   K  m
1: 2  9
2: 3 10
3: 4 11

你的需求 #

你想要生成A的每一行与B所有行的笛卡尔积，得到结果表C：

> C
   w d K  m
1: 1 5 2  9
2: 1 5 3 10
3: 1 5 4 11
4: 2 6 2  9
5: 2 6 3 10
6: 2 6 4 11
7: 3 7 2  9
8: 3 7 3 10
9: 3 7 4 11

原方法的问题 #

你用A[,B[],by=names(A)]尝试实现，但遇到了Error in [.data.table(A, , B[], by = names(A)) : negative length vectors are not allowed的内存错误——哪怕服务器内存充足，这个方法的分组逻辑在处理大数据时，会因为每个分组都要复制B的全部数据，导致临时内存峰值过高，触发错误。

高效无循环的解决方案 #

这里有几种更高效的原生data.table实现方式，内存使用更可控：

方法1：优化原分组逻辑

把by=names(A)替换成显式指定列名（或提前缓存列名），避免列名重复解析的额外开销，逻辑和原方法一致但更高效：

# 显式指定分组列
C <- A[, .(K = B$K, m = B$m), by = .(w, d)]

# 若A列数较多，提前缓存列名
group_cols <- names(A)
C <- A[, .(K = B$K, m = B$m), by = group_cols]

方法2：行扩展合并（内存友好型）

这种方式先扩展A的行（每一行重复B的行数），再重复B的行（重复A的行数），最后合并，内存使用更线性，适合大数据量场景：

# 扩展A的每一行到B的行数
A_expanded <- A[rep(seq_len(nrow(A)), each = nrow(B))]
# 重复B的行A的行数
B_repeated <- B[rep(seq_len(nrow(B)), nrow(A))]
# 合并得到笛卡尔积
C <- cbind(A_expanded, B_repeated)

方法3：交叉连接语法

利用data.table的连接特性，指定无匹配条件的交叉连接，并开启allow.cartesian=TRUE允许笛卡尔积：

C <- A[B, on = .(1), allow.cartesian = TRUE]

这里on = .(1)表示没有匹配条件，直接生成所有行组合，allow.cartesian=TRUE是必须的，因为data.table默认会阻止意外的笛卡尔积操作。

这些方法都不需要循环，且内存效率远高于原方法，尤其是方法2和3，在处理大表时能有效避免临时内存峰值过高的问题。

内容的提问来源于stack exchange，提问作者wolfsatthedoor