在R语言中如何拆分S4类Sparse Matrix为训练集与测试集

假设你使用的是R语言（S4类稀疏矩阵在R中最为常见，比如Matrix包的dgCMatrix类型），以下是高效的拆分步骤：

• 确认矩阵类型
  先通过class(your_sparse_matrix)确认具体的S4子类，大部分稀疏矩阵类型都支持索引提取操作。

• 生成训练/测试样本索引
  按样本（行）拆分是机器学习的常规操作，以8:2的比例为例，生成随机索引：

  set.seed(123) # 设置随机种子保证拆分结果可复现
  total_samples <- nrow(your_sparse_matrix)
  train_idx <- sample(total_samples, floor(0.8 * total_samples))
  test_idx <- setdiff(1:total_samples, train_idx)
  

• 提取训练集与测试集
  直接利用索引提取稀疏矩阵，全程保持稀疏格式，避免内存溢出：

  train_mat <- your_sparse_matrix[train_idx, ]
  test_mat <- your_sparse_matrix[test_idx, ]
  

• 同步拆分标签（若有）
  如果有对应的样本标签向量y，同步拆分即可：

  train_y <- y[train_idx]
  test_y <- y[test_idx]
  

关键注意事项 #

• 绝对不要尝试将稀疏矩阵转换为密集矩阵（如as.matrix()），200k×200k的密集矩阵会占用约300GB内存，远超常规机器的承载能力。
• 若需按特征（列）拆分，只需将上述步骤中的行索引替换为列索引即可，但机器学习场景下极少这么做。
• 如果你使用caret或mlr3等机器学习框架，也可以用它们的内置拆分函数生成索引，再按上述方式提取稀疏矩阵，比如caret::createDataPartition(y, p = 0.8, list = FALSE)。

内容的提问来源于stack exchange，提问作者Vortenzie