使用read.table读取.csv指定列及fread字符类型问题

Hey Marijn, 我留意到你在处理超大CSV文件时碰了钉子——只需要提取第1、2、3、25、29列并合并，但用fread读出来的数据居然全是字符类型，这肯定给后续操作添了不少麻烦对吧？结合你之前提到的《Importing fread vs read.table and errors》里的背景，我给你整理了几个实用的解决方案：

一、强制指定列类型读取 #

fread默认如果检测到列内有混合类型（比如数字里混了字符），会把整列转成字符类型。我们可以直接用colClasses参数提前指定每列的类型，从根源避免这个问题：

library(data.table)
# 定义要读取的列索引
cols_to_read <- c(1, 2, 3, 25, 29)
# 对应列的类型，根据你的实际数据调整（比如integer/numeric/character等）
col_types <- c("integer", "integer", "integer", "numeric", "numeric")
# 读取单个文件，select参数只加载需要的列，节省内存
single_file_data <- fread("your_large_file.csv", 
                          select = cols_to_read, 
                          colClasses = setNames(col_types, cols_to_read))

要是不确定列的真实类型，可以先读取前几百行探测：

# 先读前100行探测类型
sample_data <- fread("your_large_file.csv", nrows = 100, select = cols_to_read)
# 查看探测到的类型，再调整col_types
str(sample_data)

二、批量读取并高效合并 #

如果要处理多个大文件，我们可以写个简单的批量处理逻辑，避免手动逐个操作：

library(data.table)
library(purrr)

# 获取文件夹下所有CSV文件的路径
file_paths <- list.files(pattern = "*.csv", full.names = TRUE)

# 定义通用读取函数
read_target_cols <- function(file) {
  cols_to_read <- c(1, 2, 3, 25, 29)
  col_types <- c("integer", "integer", "integer", "numeric", "numeric")
  fread(file, select = cols_to_read, colClasses = setNames(col_types, cols_to_read))
}

# 批量读取并合并成一个数据框（用map_dfr适合dplyr风格）
combined_data <- map_dfr(file_paths, read_target_cols)

# 或者用data.table的rbindlist，内存效率更高
combined_dt <- rbindlist(lapply(file_paths, read_target_cols))

三、处理混合类型列的特殊情况 #

如果某些列确实存在混合值（比如部分行是数字，部分是字符注释），可以先用na.strings把异常值转成NA，再统一转换类型：

single_file_data <- fread("your_large_file.csv", 
                          select = cols_to_read, 
                          na.strings = c("", "NA", "N/A"),
                          colClasses = col_types)
# 用type.convert自动转换列类型，保留有效数值
single_file_data <- single_file_data[, lapply(.SD, type.convert, as.is = FALSE)]

这样操作既不用把整个大文件塞进内存，又能保证列类型符合预期，后续合并和分析就能顺利进行啦。

内容的提问来源于stack exchange，提问作者Marijn