R语言中快速实现非NA值逐行左移的高效解决方案

针对你这个340K行、67列的大数据集，传统的for循环或者apply系列方法确实会因为逐行操作的巨大开销变得极慢。下面给你几个从高效到极致的解决方案，能大幅缩短处理时间：

方案1：基于矩阵的向量化操作（无需额外包） #

矩阵在R中的操作效率远高于数据框，我们可以先把数据转成矩阵，再通过向量化索引完成移位：

# 将数据框转为矩阵
mat <- as.matrix(df)

# 提取每行的非NA元素，再补全NA到原列数
non_na_rows <- apply(mat, 1, function(row) row[!is.na(row)])
na_pad <- ncol(mat) - lengths(non_na_rows)
filled_rows <- mapply(function(x, n) c(x, rep(NA, n)), non_na_rows, na_pad, SIMPLIFY = FALSE)

# 重构为结果矩阵并转回数据框
result_df <- as.data.frame(do.call(rbind, filled_rows), stringsAsFactors = FALSE)
colnames(result_df) <- colnames(df)

这个方法比原生for循环快几十倍，因为矩阵操作的底层是向量化实现，避免了逐行操作的重复开销。

方案2：Rcpp底层实现（速度极致） #

如果要追求最快的处理速度，直接用C编写核心逻辑是最优选择——R的循环开销在C里几乎可以忽略。你可以按以下步骤操作：

1. 创建一个名为shift_non_na.cpp的文件，写入以下代码：

#include <Rcpp.h>
using namespace Rcpp;

// [[Rcpp::export]]
CharacterMatrix shiftNonNALeft(CharacterMatrix mat) {
  int n_rows = mat.nrow();
  int n_cols = mat.ncol();
  CharacterMatrix result(n_rows, n_cols);
  
  for (int i = 0; i < n_rows; ++i) {
    int current_pos = 0;
    // 先填充非NA值到左侧
    for (int j = 0; j < n_cols; ++j) {
      if (!CharacterVector::is_na(mat(i, j))) {
        result(i, current_pos) = mat(i, j);
        current_pos++;
      }
    }
    // 剩余位置填充NA
    for (int j = current_pos; j < n_cols; ++j) {
      result(i, j) = NA_STRING;
    }
  }
  // 保留原列名
  colnames(result) = colnames(mat);
  return result;
}

2. 在R中编译并调用这个函数：

# 编译Rcpp函数
Rcpp::sourceCpp("shift_non_na.cpp")

# 转换为矩阵后处理，再转回数据框
mat <- as.matrix(df)
result_mat <- shiftNonNALeft(mat)
result_df <- as.data.frame(result_mat, stringsAsFactors = FALSE)

这个方法处理你的数据集应该只需要几分钟甚至更短时间，是目前最快的实现方式之一。

为什么你之前的方法效果不好？ #

• 原生for循环：每次循环都要执行unlist和t()，还要逐行赋值给新数据框，这些操作在大数据集上的累积开销极大，导致耗时长达18小时。
• dedupewider::na_move：这个函数的设计目标并不是通用的逐行非NA左移，它更多是针对宽格式数据去重时的特定场景，所以无法满足你的需求。

内容的提问来源于stack exchange，提问作者mcmalicsi