R语言统计聊天内容词频遇异常：条目数远超实际词数求助

核心原因 #

条目数远大于实际词数并非处理路径错误，主要由以下两点导致：

1. 文本未做预处理：原聊天记录可能包含大量特殊字符、转义符、冗余格式（如HTML标签、重复空格），unnest_tokens会将这些非单词内容错误拆分为"词"；
2. 分词方法不匹配：若为中文聊天记录，tidytext默认的英文分词逻辑会把每个汉字拆成独立条目，直接导致条目数暴增。

分步解决办法 #

1. 先检查原数据内容

先确认text列的实际内容，排查冗余信息：

# 查看前10条聊天记录的原始内容
head(text_df$text, 10)
# 查看数据结构，确认是否存在非字符类型元素
str(text_df$text)

2. 针对英文聊天记录的处理

先清理文本冗余，再用标准分词：

library(tidytext)
library(stringr)
library(dplyr)

# 1. 清理文本：移除特殊字符、多余空格，过滤空记录
text_cleaned <- text_df %>%
  mutate(text = str_replace_all(text, "[^a-zA-Z0-9\\s]", "")) %>% # 保留字母、数字和空格
  mutate(text = str_squish(text)) %>% # 移除连续空格
  filter(text != "") # 过滤空内容的记录

# 2. 正确分词
text_tokens <- text_cleaned %>%
  unnest_tokens(word, text, token = "words")

# 查看去重后的词数
n_distinct(text_tokens$word)
# 统计词频
text_tokens %>% count(word, sort = TRUE)

3. 针对中文聊天记录的处理

需使用中文分词工具（如jiebaR）替代默认的英文分词：

library(jiebaR)
library(dplyr)
library(tidyr)

# 初始化中文分词器
cutter <- worker()

# 分词并展开结果
text_tokens <- text_df %>%
  mutate(word = map(text, ~segment(.x, cutter))) %>% # 对每条聊天记录分词
  unnest(word) %>% # 展开分词结果
  filter(word != "") # 过滤空词

# 查看去重后的词数与词频
n_distinct(text_tokens$word)
text_tokens %>% count(word, sort = TRUE)

4. 修复原代码的报错问题

原代码中mutate_all(as.character)会对所有列强制转字符，若数据中存在非字符列（如原筛选保留的EventName）可能引发报错，建议仅转换text列：

text_df <- text_df %>% mutate(text = as.character(text))

内容的提问来源于stack exchange，提问作者Andrew Morgan