如何检测R语言readtext读取文件是否存在部分读取失败？

针对你遇到的readtext读取大文件后内存占用远小于原文件、想确认是否未读全内容的问题，我整理了几个实用的排查方法：

• 对比文件行计数与读取后的行计数
  先在系统层面获取原文件的总行数：Windows可以用PowerShell命令(Get-Content -Path "你的文件路径" -Raw).Split("n").Count，或者直接用Notepad++的「编辑」→「行操作」→「统计行数」功能。然后在R里用length(my_rt$text)或nrow(my_rt)`（根据readtext返回的数据结构选择）来对比两者的数值。如果差距显著，说明大概率有内容没被读取进来。

• 验证文件编码与实际内容的匹配度
  虽然Notepad++显示编码为UTF-8，但文件可能存在隐藏的编码错误或损坏字符。你可以先用readLines()做小范围测试，开启警告来捕捉潜在问题：

  test_lines <- readLines("你的文件路径", n = 1000, encoding = "UTF-8", warn = TRUE)
  

  如果有编码异常，这里会抛出警告，而readtext可能自动跳过了这些有问题的片段。另外也可以手动打开文件连接检查内容：

  con <- file("你的文件路径", encoding = "UTF-8")
  test_content <- readLines(con, n = 500)
  close(con)
  

  查看输出内容是否有乱码或截断的情况。

• 对比文件字节数与读取内容的字节数
  先获取原文件的总字节数：可以用Windows资源管理器显示的大小，或者在R里执行file.info("你的文件路径")$size。然后计算读取后内容的字节数：

  content_total_bytes <- sum(nchar(my_rt$text, type = "bytes"))
  

  虽然要考虑换行符等特殊字符的字节差异，但如果两者数值差距极大（比如原文件200MB，读取后仅对应15MB的字节数），基本可以判定存在未读取的内容。

• 检查readtext的参数设置
  确认调用readtext时有没有误设n这类限制读取行数的参数，或者其他过滤类参数。重新运行读取命令时可以加上verbose = TRUE，打印读取过程的细节：

  my_rt <- readtext("你的文件路径", verbose = TRUE)
  

  这个参数会输出读取的行数、字节数等信息，能直观帮你判断是否读全了整个文件。

• 分段读取并验证完整性
  把文件分成多段读取后合并，对比整体内容的完整性。比如用readLines()的skip和n参数分段：

  # 假设平均每行100字节，100MB约为1e6行，可根据实际情况调整
  part1 <- readLines("你的文件路径", n = 1e6)
  part2 <- readLines("你的文件路径", skip = 1e6)
  total_content <- c(part1, part2)
  

  然后对比length(total_content)和系统层面的行计数，或者合并后内容的字节数，看是否与原文件匹配。

内容的提问来源于stack exchange，提问作者user778806