如何用read_lines、count.fields处理含字段缺失的大管道分隔文件？

嘿，我来帮你处理这个棘手的大文件问题！咱们一步步来，完全贴合你的需求：

第一步：用read_lines读取文件 #

首先用readr包的read_lines把文件读成字符向量，这个方法对GB级的大文件很友好，不会一次性把整个文件塞进内存：

library(readr)
raw_lines <- read_lines("你的大文件名.txt")

第二步：区分正常行和异常行（tidyverse替代count.fields） #

base R的count.fields确实好用，但tidyverse里咱们可以用stringr的str_count来做同样的事——统计每行里管道分隔符的数量，这样就能快速找出少了一个分隔符的异常行：

library(stringr)
# 先确定正常行应该有多少个分隔符，比如从第一行正常行里取（假设第一行是正常的）
expected_delimiters <- str_count(raw_lines[1], fixed("|"))

# 统计每行的分隔符数量
delimiter_counts <- str_count(raw_lines, fixed("|"))

# 拆分出正常行和异常行两个向量
normal_lines <- raw_lines[delimiter_counts == expected_delimiters]
bad_lines <- raw_lines[delimiter_counts == expected_delimiters - 1]

第三步：修复异常行（按你的需求拆分调整） #

你提到要把异常行拆成两个字符串向量，还要删掉其中一个的最后一个字符串——本质上就是把少了一个字段的异常行补回完整字段。假设异常行是因为两个字段被误合并成一个了，咱们可以这么处理：

# 先算出正常字段数和异常字段数
normal_field_num <- expected_delimiters + 1
bad_field_num <- normal_field_num - 1

# 把异常行拆成字段矩阵
bad_fields <- str_split(bad_lines, fixed("|"), simplify = TRUE)

# 按你的要求：拆成两个向量，删除其中一个的最后一个字符串
# 比如第一个向量是异常行的前(bad_field_num - 1)个字段，第二个向量是去掉最后一个字段的异常行字段
# 然后把第一个向量和拆分后的最后一个字段合并（这里假设最后一个字段可以拆成两个，你可以根据实际数据调整拆分规则）
# 举个通用例子：把最后一个字段从中间拆成两部分
split_first_part <- str_sub(bad_fields[, bad_field_num], 1, nchar(bad_fields[, bad_field_num])/2)
split_second_part <- str_sub(bad_fields[, bad_field_num], nchar(bad_fields[, bad_field_num])/2 + 1)

# 把这些字段重新拼成符合格式的行
fixed_bad_lines <- apply(
  cbind(bad_fields[, 1:(bad_field_num - 1)], split_first_part, split_second_part),
  1, paste, collapse = "|"
)

第四步：两次用read_delim读取并合并数据 #

现在咱们有了正常行和修复后的异常行，分别用read_delim读取，最后合并成完整的数据框：

# 读取正常行，这里假设文件有表头，如果没有的话可以设置col_names = FALSE或者自定义列名
normal_df <- read_delim(I(normal_lines), delim = "|", col_names = TRUE)

# 读取修复后的异常行，用正常行的列名保证格式一致
fixed_bad_df <- read_delim(I(fixed_bad_lines), delim = "|", col_names = colnames(normal_df))

# 合并两个数据框
final_df <- dplyr::bind_rows(normal_df, fixed_bad_df)

额外小贴士 #

如果你的文件大到离谱（几十GB那种），可以试试read_lines_chunked分块处理，避免内存溢出；另外，拆分异常行的规则一定要根据你的实际数据调整——比如如果合并的字段是有特定分隔符（比如下划线），直接用str_split_fixed按那个符号拆分就行，比按长度拆分靠谱多啦！

内容的提问来源于stack exchange，提问作者Earl F Glynn