使用tm包进行文本挖掘：文档名被数字替换的解决方法

我帮你搞定这个问题！你遇到的TDM文档名变成数字的情况，是因为tm包默认用数字作为文档ID，而不是原始文件名；另外你代码里用sapply直接处理语料库的方式会破坏它的结构和元数据，这也让问题更严重。下面是完整的修复方案：

DirSource创建数据源时，默认会给每个文档分配数字ID，而非文件名；同时你用sapply处理编码的操作，把语料库转换成了普通列表，丢失了所有元数据（包括ID信息），导致后续生成TDM时只能用数字标识文档。

1. 加载语料库并手动设置文件名作为文档ID #

先创建数据源，提取文件名，再把文件名赋值给语料库的文档ID：

library(tm)

# 定义你的文件路径
source_path <- "~/shiny-dashboard/New_Shiny/site_dumps/"

# 创建DirSource对象，同时获取所有文件的路径
ds <- DirSource(source_path, encoding = "UTF-8")
# 基于数据源创建语料库
corpus <- Corpus(ds, readerControl = list(language = "en"))

# 提取纯文件名（去掉完整路径），并设置为语料库的文档ID
doc_filenames <- basename(ds$filelist)
names(corpus) <- doc_filenames

2. 正确处理文本编码（避免破坏语料库结构） #

不要用sapply，改用tm_map来批量处理编码，这样能保留文档ID：

# 转换编码并保留文档元数据
corpus <- tm_map(corpus, function(doc) {
  # 获取文档内容并转换编码
  cleaned_content <- iconv(content(doc), from = "latin1", to = "ASCII", sub = "")
  # 重新创建PlainTextDocument，确保保留原文档ID
  PlainTextDocument(cleaned_content, id = meta(doc, "id"), language = "en")
})

3. 生成带文件名的TDM #

现在生成的词频矩阵，列名就是你需要的文档名了：

# 生成词频矩阵
tdm <- TermDocumentMatrix(corpus)

# 转换成普通矩阵方便查看和操作
tdm_matrix <- as.matrix(tdm)

4. 实现用户查询功能 #

基于上面的矩阵，就可以轻松实现用户输入单词后返回对应文档列表：

# 模拟用户输入的单词
user_word <- "your_target_word"

# 检查单词是否存在于词频矩阵中
if (user_word %in% rownames(tdm_matrix)) {
  # 筛选出词频大于0的文档（即包含该单词的文档）
  matching_docs <- colnames(tdm_matrix)[tdm_matrix[user_word, ] > 0]
  cat("包含单词 '", user_word, "' 的文档：\n", paste(matching_docs, collapse = "\n"), sep = "")
} else {
  cat("未找到包含该单词的文档")
}

• 永远不要用sapply直接处理Corpus对象，它会把语料库拆成普通列表，丢失所有元数据；语料库的批量操作一律用tm_map。
• 设置names(corpus)是保留文件名的核心，后续所有基于语料库的操作都会用这个ID作为标识。

内容的提问来源于stack exchange，提问作者C3P