data.table中按两列组合计算第三列求和的问题排查

你的代码存在两个核心问题：

1. 未处理count列的NA值：sum()函数遇到NA会直接返回NA，无法实现将NA视为0的需求。
2. 大型数据场景下性能与逻辑缺陷：通过by = .(from2, to2)逐组匹配df1的方式，在数据量较大时运行效率极低，且只要匹配到的行包含NA，求和结果就会变成NA，不符合预期。

修正方案 #

推荐先对df1预聚合求和（处理NA），再与全组合表做左连接，这种方式逻辑清晰且效率更高：

# 1. 对df1按通勤点组合分组求和，自动将NA视为0
df1_agg <- df1[, .(count_total = sum(count, na.rm = TRUE)), by = .(from1, to1)]

# 2. 生成from1和to1的所有可能组合
df2 <- CJ(from2 = unique(df1$from1), to2 = unique(df1$to1))

# 3. 左连接匹配聚合结果，无对应组合的填充为0
df2 <- df2[df1_agg, on = .(from2 = from1, to2 = to1)]
df2[is.na(count_total), count_total := 0]

代码说明 #

• sum(count, na.rm = TRUE)：忽略NA值求和，若组内全为NA，求和结果自动为0，完美契合需求。
• 预聚合后再做左连接，避免了逐组遍历的冗余计算，在大型数据框下的运行效率远高于原代码。
• 最后通过is.na()判断并填充0，确保所有组合都有合法的求和值。

内容的提问来源于stack exchange，提问作者Ann