如何在R语言中移除词-文档矩阵（Term-Document-Matrix）中的空文档

这个警告很常见，不用太慌——它只是告诉你，你语料库中标注的这些文档（54、80、130等）在预处理后没有留下任何可用于构建词-文档矩阵的词汇了，要么是文档本身就为空，要么是你的预处理规则（比如移除停用词、标点、数字后）把所有词都过滤掉了。下面是具体的排查和解决步骤：

第一步：确认空文档的原因 #

先搞清楚这些文档到底是本来就没内容，还是预处理导致的。你可以用这段代码查看这些文档的原始内容：

# 提取警告里提到的空文档索引
empty_doc_indices <- c(54, 80, 130, 142, 151, 156, 162, 203, 215, 248, 264, 280, 284, 300, 326, 327, 355, 389, 486, 558, 637, 668, 680, 812, 872, 986, 1003, 1121, 1168, 1306, 1456, 1546, 1547, 1551, 1552, 1574, 1690, 1841, 1867, 1874, 1943, 1998, 2112, 2113, 2117, 2452, 2471, 2514, 2515, 2632, 2703, 2837, 2924, 2947, 2967, 2968)

# 查看这些文档的原始内容
inspect(corpus[empty_doc_indices])

如果输出显示这些文档本身就是空白或者只有标点/数字，那直接移除就行；如果原本有内容但预处理后没了，那就要调整你的预处理规则。

第二步：处理空文档的两种方案 #

方案一：直接移除空文档（推荐） #

如果这些文档确实没有有效分析价值，直接从语料库中删除它们，再重新创建TDM：

# 从语料库中移除空文档
corpus_clean <- corpus[-empty_doc_indices]

# 重新构建带TF-IDF权重的词-文档矩阵
tdm_tfidf_clean <- TermDocumentMatrix(corpus_clean, control = list(weighting = weightTfIdf))

这样不仅能消除警告，还能避免后续分析中引入无效的空文档。

方案二：调整预处理规则 #

如果是预处理过度导致有效词汇被过滤掉，你可以调整control参数里的规则，比如：

tdm_tfidf_adjusted <- TermDocumentMatrix(corpus, control = list(
  weighting = weightTfIdf,
  removePunctuation = TRUE,
  removeNumbers = TRUE,
  stopwords = TRUE,  # 可以换成自定义停用词列表，避免误删有效词
  minWordLength = 2,  # 保留至少2个字符的词，避免过滤掉太短的有效词汇
  tolower = TRUE  # 统一转为小写，避免大小写导致的词汇拆分
))

比如如果你的文档里有很多短词（比如专业术语缩写），可以把minWordLength调小到1；或者自定义停用词列表，不要用默认的stopwords = TRUE，避免把特定领域的有效词当成停用词移除。

额外提示 #

如果你不确定哪些预处理步骤导致了空文档，可以逐步关闭预处理规则测试，比如先去掉stopwords = TRUE，看看空文档数量有没有减少，以此定位问题所在。

内容的提问来源于stack exchange，提问作者Lucinho91