如何将字符向量列表转换为quanteda的tokens对象？

quanteda原生提供as.tokens()函数，支持直接将已完成分词的字符向量列表转换为标准tokens对象，不需要拼接字符串再拆分，也不会破坏带空格的分词结果。

操作步骤 #

• 准备示例数据（替换为你自己的分词列表即可）

library(quanteda)
# 你的已分词字符向量列表
token_list <- list(
  doc1 = c("I", "like", "apples"),
  doc2 = c("You", "like", "apples", "too")
)

• 直接转换为tokens对象

quanteda_tokens <- as.tokens(token_list)

• 如需直接生成dfm对象，在转换得到的tokens外包裹dfm()即可

result_dfm <- dfm(quanteda_tokens)

方案优势 #

• 无冗余步骤：不需要对原始分词结果做拼接、二次拆分等额外处理
• 结果准确：100%保留原始分词，哪怕分词本身包含空格、特殊字符也不会被错误拆分
• 自动继承属性：会直接保留列表的命名作为tokens对象的文档名，无需手动赋值

打印转换后的tokens对象即可验证结果：

Tokens consisting of 2 documents.
doc1 :
[1] "I" "like" "apples"

doc2 :
[1] "You" "like" "apples" "too"

内容的提问来源于stack exchange，提问作者jhfodr76