将4维数组中的NA值向右对齐（移至行尾）

问题背景 #

我们有一个组织为4维数组的调查数据，结构为m[n_sites, n_surveys, n_years, n_species]，数据中存在随机缺失的NA值。需要将每个行（即每个site在特定year和species下的survey序列）中的NA值移至该行末尾，同时保留非NA值的相对顺序。由于数据量极大，需要高效且简洁的实现方案。

解决方案 #

利用R的向量化操作和数组重塑能力，避免显式循环，实现高效处理：

步骤说明 #

1. 获取数组维度：明确各维度的大小，方便后续重塑操作。
2. 数组转二维矩阵：将4维数组重塑为二维矩阵，每行对应一个site-year-species组合的survey序列，简化批量处理。
3. 行内重排NA值：对矩阵每行使用order(is.na(x))生成索引，将非NA值按原顺序前置，NA值后置。
4. 矩阵转回4维数组：将处理后的二维矩阵重新恢复为原始4维数组结构。

完整可运行代码 #

library(magrittr)
library(reshape2)
set.seed(1)

# 模拟调查数据
df <- expand.grid(
  species = c(1,2),
  year = c(1,2,3),
  site = c(1,2,3,4),
  survey = c(1,2,3,4,5))
df$counts <- rpois(n = nrow(df), lambda = 3)

# 添加随机NA值
posNA <- sample(x = 1:nrow(df), size = 0.5 * nrow(df), replace = FALSE)
df$counts[posNA] <- NA

# 转换为4维数组
m <- df %>% acast(site ~ survey ~ year ~ species)

# 获取数组各维度大小
dim_m <- dim(m)
n_sites <- dim_m[1]
n_surveys <- dim_m[2]
n_years <- dim_m[3]
n_species <- dim_m[4]

# 将4维数组重塑为二维矩阵：每行对应一个site-year-species的survey序列
m_reshaped <- matrix(m, nrow = n_sites * n_years * n_species, ncol = n_surveys, byrow = TRUE)

# 对每行重排：非NA值按原顺序前置，NA值后置
m_reshaped_clean <- t(apply(m_reshaped, 1, function(x) x[order(is.na(x))]))

# 重塑回原始4维数组结构
m_clean <- array(m_reshaped_clean, dim = dim_m)

# 验证结果：查看第一年、第一个物种的处理前后数据
cat("原始数据：\n")
print(m[,,1,1])
cat("\n处理后数据：\n")
print(m_clean[,,1,1])

效率说明 #

• 该方案使用R内置的order函数和向量化操作，避免了逐元素循环，处理大型数组时效率远高于手动循环。
• 数组重塑操作仅改变数据的内存视图，不额外占用大量内存，适合处理超大规模数据。

内容的提问来源于stack exchange，提问作者G. Channing