LDA主题模型：语料库中移除长破折号特殊字符失败的问题

核心原因 #

直接复制的破折号和语料库中的破折号大概率不是同一Unicode字符（比如常见的EN DASH –（U+2013）、EM DASH —（U+2014），还有其他类似符号），导致直接匹配失效。

具体解决步骤 #

1. 确认目标字符的Unicode编码
   从语料库中提取含破折号的文本片段，用以下代码查看字符的具体编码：

# 提取语料库中的单条文本
sample_text <- as.character(corpus[[1]])
# 输出每个字符的Unicode数值
utf8ToInt(sample_text)

找到破折号对应的数值（比如EM DASH对应的是8212，对应Unicode编码U+2014）。

2. 用Unicode编码精准替换
   不用直接输入破折号，改用Unicode转义序列或编码范围匹配，覆盖所有类似破折号：

# 替换单个指定Unicode字符（以EM DASH U+2014为例）
text_new <- gsub("\u2014", "", text, fixed = TRUE)

# 批量替换所有常见破折号（EN DASH、EM DASH、水平破折号等）
text_new <- gsub("[\u2013\u2014\u2015]", "", text, perl = TRUE)

3. 针对tm语料库的适配处理
   使用tm_map时，必须用content_transformer包裹替换逻辑，否则会失效：

library(tm)
# 创建测试语料库
corpus <- VCorpus(VectorSource(c("Today is the weather nice — I want to go to the beach —")))
# 清理语料库中的破折号
corpus_clean <- tm_map(corpus, content_transformer(function(x) {
  gsub("[\u2013\u2014]", "", x, perl = TRUE)
}))
# 查看清理结果
as.character(corpus_clean[[1]])

4. 检查并统一文本编码
   若文本编码不是UTF-8，会导致字符匹配失败，先转换编码：

# 查看当前文本编码
Encoding(text)
# 转换为UTF-8（将"unknown"替换为实际原编码，比如"GBK"）
text <- iconv(text, from = "unknown", to = "UTF-8")

内容的提问来源于stack exchange，提问作者Frieda