如何将文件整行文本设为docvars？当前仅返回前8字符

我来帮你搞定这个问题！看起来你在处理文本语料时，想要把每个文件的第一行完整内容提取出来作为docvars，但目前只能获取到前8个字符。下面是具体的解决思路和代码示例，用R的quanteda生态工具来实现：

步骤1：读取每个文件的完整第一行 #

首先，我们需要单独读取每个目标文件的第一行，确保内容不被截断。可以用readLines()函数，指定只读取1行：

# 替换成你的文件所在文件夹路径
target_dir <- "path/to/your/files"
# 获取所有文本文件的完整路径（可根据文件类型调整pattern参数）
file_paths <- list.files(path = target_dir, pattern = "\\.txt$", full.names = TRUE)

# 遍历每个文件，读取第一行内容
full_first_lines <- sapply(file_paths, function(file) {
  # warn=FALSE避免空文件的警告信息
  readLines(file, n = 1, warn = FALSE)
})

步骤2：将第一行内容赋值为docvars #

接下来，把读取到的完整第一行添加到你的语料对象的docvars中：

如果你已经有corpus对象 #

library(quanteda)

# 假设你的corpus对象名为my_corpus
docvars(my_corpus, field = "file_first_line") <- full_first_lines

如果还没创建corpus，读取文件时直接添加 #

可以结合readtext工具，在读取文件的同时就把第一行作为docvar：

library(readtext)
library(quanteda)

# 读取文件夹下的所有文本文件
text_data <- readtext(paste0(target_dir, "/*.txt"))

# 给text_data添加第一行的docvar
text_data$file_first_line <- sapply(text_data$doc_id, function(file) {
  readLines(file, n = 1, warn = FALSE)
})

# 转换为corpus对象
my_corpus <- corpus(text_data)

为什么之前只能拿到前8个字符？ #

大概率是你之前的读取方法触发了截断逻辑——比如误将文件名的部分内容当成了第一行，或者用了默认限制长度的读取参数。上面的方法直接针对文件内容读取第一行，能确保拿到完整的文本。

内容的提问来源于stack exchange，提问作者Greg Boone