如何高效使用向量随机样本填充dataframe中的全部NA值？

针对你处理大数据量（数十万行、数百列）的需求，以下几种向量化/优化方法会比双重循环高效得多：

方法1：基础R向量化操作（无需额外包） #

直接定位所有NA的位置，一次性生成对应数量的随机样本并填充，完全避免循环：

# 分离ID列和数值列
id_col <- df[, "ID", drop = FALSE]
num_cols <- df[, -1]

# 获取所有NA的位置
na_positions <- is.na(num_cols)
# 计算NA总数，生成对应数量的随机样本（replace=TRUE允许重复采样）
fill_values <- sample(replacementVals, sum(na_positions), replace = TRUE)

# 填充NA并合并回ID列
num_cols[na_positions] <- fill_values
df_filled <- cbind(id_col, num_cols)

方法2：dplyr管道式处理（适合tidyverse用户） #

用dplyr::across批量处理数值列，每列内部向量化填充：

library(dplyr)

df_filled <- df %>%
  mutate(
    across(-ID, function(col) {
      na_count <- sum(is.na(col))
      if (na_count > 0) {
        col[is.na(col)] <- sample(replacementVals, na_count, replace = TRUE)
      }
      col
    })
  )

方法3：data.table（大数据量最优选择） #

data.table的按引用修改机制对超大数据集的处理效率极高，内存占用也更低：

library(data.table)

# 转换为data.table格式
setDT(df)

# 遍历所有非ID列
for (col_name in setdiff(names(df), "ID")) {
  # 获取当前列的NA索引
  na_idx <- is.na(df[[col_name]])
  if (any(na_idx)) {
    # 按NA的数量采样并填充
    df[na_idx, (col_name) := sample(replacementVals, .N, replace = TRUE)]
  }
}

为什么这些方法更快？ #

• 原双重循环是逐单元格判断赋值，R的循环迭代开销极大，大数据量下会严重卡顿。
• 上述方法均采用向量化操作（底层由C实现）或data.table的优化赋值，批量处理所有NA，避免了循环的重复开销，速度能提升几个数量级。

注意事项 #

• 务必在sample()中添加replace=TRUE，否则当NA数量超过replacementVals的长度时会报错。
• 如果ID列不是第一列，只需调整代码中排除ID列的逻辑即可。

内容的提问来源于stack exchange，提问作者CoolGuyHasChillDay