R读取大CSV文件时readLines与read.csv2行数校验失败求助

问题根源 #

之前用length(readLines())-1和nrow(read.csv2())对比的校验逻辑失效，核心原因是两个函数的行计数逻辑完全不同：

• readLines()统计物理行（文件中换行符分隔的每一段内容），无法识别CSV的字段内换行（比如某字段包含换行符），会把字段内的换行当成新行；同时默认不跳过空行，skipNul=TRUE会直接丢弃包含NULL字节的整行。
• read.csv2()统计逻辑数据行，会解析字段内的换行并合并为同一数据行；默认跳过空行，skipNul=TRUE仅跳过字段内的NULL字节，不会丢弃整行。

这些差异在普通CSV中可能不明显，但遇到含NULL值、字段内换行或空行的文件时，就会导致行数不匹配。

解决方案 #

方案1：用readr包统一解析逻辑（推荐） #

readr包的read_csv2()和read_lines()基于同一CSV解析引擎，能正确识别字段内换行、空行和NULL值的处理逻辑，行计数完全对齐：

library(readr)

# 读取数据框
df <- readFileFromServer(HOST, KEY,
       paste0(SERVER_PATH, SERVER_FOLDER),
       FILENAME, 
       FUN = read_csv2,
       sep = ";", 
       quote = "", encoding = "UTF-8", skip_empty_rows = TRUE)

# 读取行（自动处理CSV格式的行逻辑）
df_check <- readFileFromServer(HOST, KEY,
               paste0(SERVER_PATH, SERVER_FOLDER),
               FILENAME, 
               FUN = read_lines, skip_empty_rows = TRUE)

# 校验逻辑
dif <- 1
if(nrow(df) != (length(df_check) - dif)){
  stop("数据读取不完整，请检查文件")
}

方案2：调整base R参数对齐计数逻辑（仅适用于无字段内换行的CSV） #

如果不想引入第三方包，可调整参数让两者的空行、NULL处理逻辑对齐，但无法解决字段内换行的问题：

# 读取数据框，显式指定空行跳过（默认已开启，此处明确写出）
df <- readFileFromServer(HOST, KEY,
       paste0(SERVER_PATH, SERVER_FOLDER),
       FILENAME, 
       FUN = read.csv2,
       sep = ";", 
       quote = "", encoding = "UTF-8", skipNul = TRUE, blank.lines.skip = TRUE)

# 读取行，开启空行跳过，和read.csv2保持一致
df_check <- readFileFromServer(HOST, KEY,
               paste0(SERVER_PATH, SERVER_FOLDER),
               FILENAME, 
               FUN = readLines, skipNul = TRUE, blank.lines.skip = TRUE)

# 校验逻辑
dif <- 1
if(nrow(df) != (length(df_check) - dif)){
  stop("数据读取不完整，请检查文件")
}

注意事项 #

如果CSV文件存在字段内换行（比如文本字段包含换行符），base R的readLines()无法正确识别，必须使用方案1的readr包函数才能保证计数一致。

内容的提问来源于stack exchange，提问作者panda_with_spoon