使用R语言生成词云时出现无关内容的问题求助

可能的来源 #

• 隐藏元数据混入：如果你的文本来自带配置元信息的文件（比如Rmd、Markdown、HTML导出文本或PDF提取内容），可能包含language: en这类元数据行，这类内容容易被忽略，进入后续分词流程。
• 分词/预处理规则疏漏：默认的文本预处理工具（比如tm包）可能未过滤特殊符号或短词汇，像=这类符号、en这类单音节词可能被当成有效词汇保留。
• 文件读取异常：读取文本时未正确处理编码或文件结构，导致文件头、隐藏字符被解析成可见的无关词汇。

解决步骤 #

1. 先确认文本原始内容 #

先输出原始文本的前几行，排查是否真的存在这些内容：

raw_text <- readLines("your_file.txt")
head(raw_text)

如果发现开头/结尾有元数据行，直接跳过读取：

# 跳过前2行元数据
raw_text <- readLines("your_file.txt", skip = 2)

2. 自定义停用词过滤 #

在词频统计前，把无关词汇加入停用词表，以tm包为例：

library(tm)
# 合并默认停用词与自定义无关词汇
custom_stopwords <- c(stopwords("english"), "language", "en", "=")
# 创建语料库并应用停用词过滤
corpus <- VCorpus(VectorSource(raw_text))
corpus <- tm_map(corpus, removeWords, custom_stopwords)

如果用wordcloud2，直接在词频数据框中过滤：

# 假设word_freq是包含word和freq列的数据框
word_freq_filtered <- subset(word_freq, !word %in% c("language", "en", "="))
wordcloud2(word_freq_filtered)

3. 提前清洗文本内容 #

用正则表达式移除类似元数据、特殊符号的内容：

# 移除key=value格式的内容
clean_text <- gsub("\\w+\\s*=\\s*\\w+", "", raw_text)
# 移除单独的"language"和"en"词汇
clean_text <- gsub("\\blanguage\\b|\\ben\\b", "", clean_text)
# 移除多余空格
clean_text <- gsub("\\s+", " ", clean_text)

4. 调整分词规则 #

使用tokenizers包时，设置参数过滤非有效词汇：

library(tokenizers)
# 只保留字母数字，过滤标点和单字符词汇
tokens <- tokenize_words(clean_text, 
                         strip_non_alphanumeric = TRUE, 
                         strip_punct = TRUE,
                         lowercase = TRUE,
                         stopwords = custom_stopwords)

内容的提问来源于stack exchange，提问作者The Curious One