使用data.table::fread读取CSV报错,如何实现readLines的读取效果?
解决data.table::fread读取CSV时的列数不匹配报错
碰到这种fread读取CSV报错的情况我太熟悉了,你已经试过fill=TRUE和quote=''但还是不行,咱们一步步来排查解决:
先定位问题行的具体内容
报错明确指向第99771行有多余内容,先把这一行和前后几行提取出来看看到底是什么格式问题,比如有没有未转义的逗号、不配对的引号或者意外换行:# 读取问题行及前后行 problem_lines <- readLines("./data/train_first.csv", encoding = "UTF-8")[99770:99772] print(problem_lines)这一步能帮你确认是脏数据(比如字段里多了逗号),还是fread的自动识别逻辑出了偏差。
调整fread参数强制适配格式
如果确认列数是3列,可以强制指定列数和列名,避免fread误判:# 先读取前10行确认正确的列名和列数 sample_data <- fread("./data/train_first.csv", nrows = 10, encoding = "UTF-8") target_colnames <- colnames(sample_data) target_colcount <- ncol(sample_data) # 强制按目标列数读取,同时保留fill和quote参数 train <- fread( "./data/train_first.csv", encoding = "UTF-8", quote = "", fill = TRUE, col.names = target_colnames, check.names = FALSE, sep = "," # 明确指定分隔符,避免自动识别出错 )另外,如果问题行确实是无效数据,可以用
skip = 99771跳过该行,但建议先确认内容是否有用。预处理文件修正格式问题
如果问题行存在未转义的特殊字符(比如字段内的逗号或换行),可以先读取所有行并修正,再写入临时文件读取:# 读取所有行 all_lines <- readLines("./data/train_first.csv", encoding = "UTF-8") # 根据problem_lines的内容编写修正逻辑,比如替换字段内的逗号为分号 # 示例:假设第99771行的多余逗号来自某个文本字段,替换它 all_lines[99771] <- gsub(",", ";", all_lines[99771], fixed = TRUE) # 写入修正后的临时文件 writeLines(all_lines, "./data/train_first_fixed.csv", encoding = "UTF-8") # 用fread读取修正后的文件 train <- fread("./data/train_first_fixed.csv", encoding = "UTF-8", quote = "", fill = TRUE)备选方案:换用read.csv读取
如果fread的自动解析逻辑实在无法适配你的文件,可以尝试用基础包的read.csv,它的兼容性更好(虽然速度稍慢):train <- read.csv( "./data/train_first.csv", encoding = "UTF-8", quote = "", fill = TRUE, stringsAsFactors = FALSE )
内容的提问来源于stack exchange,提问作者Tao Hu
相关产品推荐
相关产品推荐

