在R语言中高效替换数据框下划线为空值的解决方案求助

一、读取时直接转换（最优解） #

别等读进来再折腾，直接在read.csv里加na.strings="_"参数，读取过程中就自动把所有"_"识别成R的标准空值NA，这是最快的方式——底层C级处理，比R层面的替换操作快N倍，还能避免后续的类型问题。

单文件读取代码：

text <- read.csv(dir[i], header = TRUE, sep = ",", na.strings = "_")

批量处理所有CSV的话：

# 抓取当前目录下所有CSV文件
csv_files <- list.files(pattern = "\\.csv$")
# 批量读取并转换
processed_list <- lapply(csv_files, function(file) {
  read.csv(file, header = TRUE, sep = ",", na.strings = "_")
})
# 若所有文件结构一致，直接合并成一个数据框
combined_data <- do.call(rbind, processed_list)

二、已读入数据的高效替换 #

如果已经把数据读进来了不想重新读，用data.table的矢量化操作，比gsub/str_replace_all快得多，尤其适合大表：

先装包加载：

install.packages("data.table")
library(data.table)

然后转换处理：

dt <- as.data.table(text)
# 遍历所有列，把"_"换成NA
dt[, lapply(.SD, function(col) fifelse(col == "_", NA_character_, col))]

用dplyr的话也可以：

install.packages("dplyr")
library(dplyr)

text <- text %>% mutate(across(everything(), ~ifelse(.x == "_", NA, .x)))

为啥你之前的方法不行？ #

• 原代码text[text=="_"] <- ""：只是把"_"换成空字符串，不是R认可的空值NA，分析时还是会被当字符处理，等于没解决问题；而且逐元素替换在大表上慢到离谱，因为是R层面的循环操作。
• gsub/str_replace_all：如果逐列循环使用，本质还是慢；而且会把数值型列强制转成字符型，反而添乱。

内容的提问来源于stack exchange，提问作者Ferdinand