在R语言中移除DataFrame中全0、全NA或混合0与NA的行

问题分析 #

你需要移除**数值列全为0/NA（或两者混合）**的行，保留至少有一个非0非NA数值的行。首先要注意示例数据中的'NA'是字符串，不是R原生的缺失值，这是之前方案失效的核心原因之一。

步骤1：清理数据（字符串NA转原生NA+数值列类型转换） #

先把数据中的'NA'字符串转为R原生的NA，并将原本为字符型的数值列转为数值型：

library(dplyr)

df_cleaned <- df %>%
  mutate(across(c(b, c, d, e, f), ~ {
    na_if(.x, 'NA') %>% as.numeric()
  }))

如果不想手动指定列名，也可以自动识别字符列处理：

df_cleaned <- df %>%
  mutate(across(where(is.character), ~ na_if(.x, 'NA'))) %>%
  mutate(across(c(b, c, d, e, f), as.numeric))

步骤2：过滤目标行 #

保留数值列中至少存在一个非0非NA值的行：

df1 <- df_cleaned %>%
  filter(if_any(where(is.numeric), ~ !is.na(.x) & .x != 0))

大数据量优化（1000万行推荐） #

对于超大型数据集，data.table的处理效率远高于dplyr，推荐使用以下方案：

library(data.table)

setDT(df)
# 指定需要处理的数值列
target_cols <- c('b', 'c', 'd', 'e', 'f')

# 清理数据：字符串NA转原生NA+转数值型
df[, (target_cols) := lapply(.SD, function(x) as.numeric(na_if(x, 'NA'))), .SDcols = target_cols]

# 过滤行：保留至少有一个非0非NA数值的行
df1 <- df[df[, any(!is.na(.SD) & .SD != 0), .SDcols = target_cols, by = 1:nrow(df)]$V1]

为什么之前的方案失效？ #

• filter(if_all(everything(), ~ !is.na(.x)))：要求所有列都无NA，但你需要保留含NA的有效行，所以不符合需求。
• filter_if(is.numeric, ~ !is.na(.))：要求所有数值列都无NA，同样会过滤掉你需要保留的含NA的行，且未考虑0的情况。

内容的提问来源于stack exchange，提问作者Kumar