STM预处理法语《世界报》文本：分词时去除特殊省音撇号难题

我之前处理法语报刊文本时也踩过这个坑！省音撇号这种特殊字符因为是法语专属的右撇号（’），很容易在常规预处理里被漏掉，给你两个针对quanteda和tm包的实用解决方案：

方法1：用Quanteda处理（推荐，更贴合你的工作流） #

Quanteda可以在字符层面先做替换再分词，或者直接在token层面处理：

方案A：先清洗字符再分词 #

library(quanteda)

# 示例你的《世界报》文本片段
txt <- c("L’homme politique parle. Le journaliste écrit. L’économie est en discussion.")

# 关键一步：匹配法语省音的"l’"（大小写都覆盖），替换为空字符串
# 注意：这里的撇号是法语的’，不是英文的'，如果文本里有混合可以加上L'|l'
txt_clean <- gsub("L’|l’", "", txt, ignore.case = TRUE)

# 继续你的常规预处理流程
toks <- tokens(txt_clean, remove_punct = TRUE, remove_numbers = TRUE, remove_symbols = TRUE)
toks

方案B：直接在Token层面替换 #

如果已经完成了初始分词，也可以直接对tokens做替换：

toks_initial <- tokens(txt, remove_punct = FALSE)
# 替换省音前缀为空，再移除生成的空token
toks_clean <- tokens_replace(toks_initial, pattern = c("L’", "l’"), replacement = "")
toks_final <- tokens_remove(toks_clean, pattern = "", valuetype = "fixed")
toks_final

方法2：用TM包处理 #

如果你的工作流依赖tm包，可以通过content_transformer结合正则替换实现：

library(tm)

# 创建语料库
corpus <- VCorpus(VectorSource(txt))

# 自定义清洗函数，移除l’前缀
corpus_clean <- tm_map(corpus, content_transformer(function(doc) {
  gsub("L’|l’", "", doc, ignore.case = TRUE)
}))

# 继续你的常规预处理：去数字、标点等
corpus_clean <- tm_map(corpus_clean, removeNumbers)
corpus_clean <- tm_map(corpus_clean, removePunctuation)

额外提示 #

如果后续需要处理其他法语省音情况（比如d’、n’、s’），可以扩展正则表达式，比如：

gsub("[LDJNMS]’|[ldjnms]’", "", txt, ignore.case = TRUE)

这样就能一次性覆盖所有常见的省音前缀啦。

内容的提问来源于stack exchange，提问作者kouta