删除CSV首行并设置次行为表头后合并多份CSV文件

一、修正大型CSV的表头（跳过首行，用第二行做表头） #

针对120万+行的大文件，优先选择高效处理方式，减少不必要的内存占用：

方法1：Base R（适配你已用read.csv的场景）

# 读取第二行作为表头
header_line <- readLines("your_large_file.csv", n = 2)[2]
col_names <- strsplit(header_line, ",")[[1]]

# 读取核心数据，跳过前两行并指定表头
large_data <- read.csv("your_large_file.csv", skip = 2, col.names = col_names, stringsAsFactors = FALSE)

如果你已经用read.csv完整读入了包含首行的原始数据，可这样修正：

# 假设原始数据框名为raw_data
# 将第二行设为表头
colnames(raw_data) <- raw_data[2, ]
# 删除前两行无效内容
large_data <- raw_data[-c(1, 2), ]
# 自动转换数据类型（避免所有列保持字符型）
large_data <- type.convert(large_data, as.is = TRUE)

方法2：data.table（更高效，适合超大型文件）

data.table的fread比Base R的read.csv速度更快、内存占用更低：

library(data.table)
# 跳过第一行，直接用第二行作为表头
large_data <- fread("your_large_file.csv", skip = 1, header = TRUE)

二、合并三份CSV文件 #

合并前需确保三份文件的列名、列顺序尽量一致，避免数据错位或大量NA：

Base R合并方式

# 读取另外两份CSV文件
data1 <- read.csv("file1.csv", stringsAsFactors = FALSE)
data2 <- read.csv("file2.csv", stringsAsFactors = FALSE)

# 若另外两份文件表头不一致，先统一列名
colnames(data1) <- col_names
colnames(data2) <- col_names

# 合并三个数据框
combined_data <- rbind(large_data, data1, data2)

data.table合并方式（高效首选）

# 读取另外两份文件
data1 <- fread("file1.csv", header = TRUE)
data2 <- fread("file2.csv", header = TRUE)

# 自动匹配列名，缺列自动补NA
combined_data <- rbindlist(list(large_data, data1, data2), use.names = TRUE, fill = TRUE)

注意事项 #

• 若内存不足，可考虑分块读取/合并，或使用readr包的read_csv_chunked函数处理
• 合并前务必检查三份文件的列数据类型，避免因类型不匹配导致合并失败
• 处理完成后，用fwrite（data.table）导出合并文件比write.csv速度快很多

内容的提问来源于stack exchange，提问作者Elizabeth