如何在quanteda中将多文件每行内容作为单独文档读取

嘿，这个需求我太熟悉了！想要让每行文本成为quanteda语料库中的独立文档，用readtext其实就能轻松搞定，完全不用手动拆分~

readtext本身就支持按行拆分文档，只需要设置sep = "\n"参数，它会自动把文件里的每一行当作一个独立文档来读取，之后直接转成quanteda corpus就行：

library(readtext)
library(quanteda)

# 读取单个文件，每行作为一个文档
# 如果是多个文件，直接用通配符比如"*.txt"即可批量处理
corpus_from_lines <- readtext("your_text_files.txt", sep = "\n") %>% 
  corpus()

处理完成后，每个文档的ID会自动命名为文件名_行号（比如your_text_files.txt_1、your_text_files.txt_2），方便你区分来源和顺序。要是需要自定义文档变量，还可以搭配docvarsfrom等参数，比如把行号设为单独的文档变量。

如果不想用readtext，也可以用base R的readLines()读取所有行，再直接转成corpus，步骤同样简单：

library(quanteda)

# 读取文件的所有行，返回一个每行对应元素的向量
text_content <- readLines("your_text_files.txt")
# 将向量直接转为corpus，每个元素自动成为独立文档
corpus_from_lines <- corpus(text_content)

这个方法也完全不需要手动拆分，corpus()函数会自动把向量里的每个元素识别为一个独立文档。

小提醒：如果你的文本行本身包含换行符（比如单篇文档内部有换行），那sep = "\n"可能会误拆分，这种情况需要先预处理原始文件，但如果你的每行确实对应一篇完整文档，那上面的两种方法都完美适用。

内容的提问来源于stack exchange，提问作者user778806