处理大型R数据框中NA值异常问题的技术求助

核心原因 #

1. 非标准缺失值未被识别：你数据中的"缺失值"大概率是字符串格式（比如带引号的"NA"、"N/A"、小写"na"或空字符串），R默认仅识别无引号的NA为缺失值，因此is.na()返回全FALSE，后续的na.omit()等方法也无法生效。
2. 数据类型错误：字符串格式的缺失值会导致整列被识别为字符型而非数值型。对字符型列计算mean()或sd()会直接返回NA，最终导致Z-score计算结果全为NA。

解决步骤 #

1. 排查缺失值占位符与数据类型 #

先确认数据的真实状态：

# 查看数据结构，确认各列类型
str(EXPGli)
# 查看所有唯一值，定位非标准缺失值
unique(unlist(EXPGli))

通过上述代码可以找到数据中实际的缺失值占位符（如"NA"、""、"N/A"等），以及确认列是否为字符型。

2. 替换非标准缺失值为R可识别的NA #

根据排查结果，批量替换占位符。例如若缺失值是"NA"：

# tidyverse 方法
library(dplyr)
EXPGli <- EXPGli %>% mutate(across(everything(), ~ifelse(.x == "NA", NA, .x)))

# 基础R方法
EXPGli[EXPGli == "NA"] <- NA

如果是其他占位符（如"N/A"），将条件中的"NA"替换为对应字符串即可。

3. 转换列类型为数值型 #

替换缺失值后，将字符型列转为数值型：

# tidyverse 方法
EXPGli <- EXPGli %>% mutate(across(everything(), as.numeric))

# 基础R方法
EXPGli <- lapply(EXPGli, as.numeric) %>% as.data.frame()

4. 处理缺失值并计算Z-score #

此时is.na()已能正确识别缺失值，可选择合适的方式处理后计算Z-score：

• 方式1：修改自定义函数，计算时忽略NA

Z_score <- function(x) {(x - mean(x, na.rm = TRUE)) / sd(x, na.rm = TRUE)}
EXPGli_zscore <- apply(EXPGli, 2, Z_score) %>% as.data.frame()

• 方式2：使用R内置的scale()函数（更简洁）

EXPGli_zscore <- scale(EXPGli, center = TRUE, scale = TRUE, na.rm = TRUE) %>% as.data.frame()

• 可选：移除全为NA的列
  如果存在整列都是缺失值的情况，可先移除：

EXPGli <- EXPGli[, colSums(is.na(EXPGli)) != nrow(EXPGli)]

内容的提问来源于stack exchange，提问作者Guilherme Afonso Vergara