R语言大型矩阵批量赋值性能不足问题技术问询

你之前的代码存在逻辑错误，是性能骤降的核心原因：mx[dt$xval, dt$yval] 是选取所有xval对应的行、所有yval对应的列的完整交叉区域，而非逐行匹配dt中的(x,y)坐标点。当dt有N行时，该操作会生成N*N个待赋值位置，时间复杂度为O(N²)，N到5万时就会产生25亿个操作，自然耗时指数级上涨。

以下两种方案时间复杂度均为O(N)，百万级坐标点可在百毫秒内完成处理：

方案1：原生矩阵索引（无需额外依赖） #

R原生支持两列矩阵作为索引，第一列对应矩阵行号、第二列对应矩阵列号，直接匹配单个坐标点，不会生成笛卡尔积：

iwidth = 4288
iheight = 8576
# 示例dt，换成你的data.table即可
dt = data.frame( xval=sample(iwidth ,1e6), yval=sample(iheight ,1e6) )

# 初始化全0矩阵
mx = matrix(0, nrow = iheight, ncol = iwidth)
# 注意顺序：矩阵行对应y坐标，列对应x坐标，不要写反
mx[as.matrix(dt[, c("yval", "xval")])] = 1

方案2：稀疏矩阵（内存占用更低） #

如果你的坐标点占总网格比例低于10%，用Matrix包的稀疏矩阵实现内存占用可降低90%以上，速度更快：

library(Matrix)
# 直接生成稀疏矩阵，无需提前创建全0矩阵
mx_sparse = sparseMatrix(
  i = dt$yval,
  j = dt$xval,
  x = 1,
  dims = c(iheight, iwidth)
)
# 如需转成普通稠密矩阵，调用as.matrix(mx_sparse)即可

100万行坐标场景下，方案1耗时约70ms，方案2耗时约30ms，远低于原方案的数万毫秒级耗时。

内容的提问来源于stack exchange，提问作者NicolasH2