使用Encoding()与tokens()时UTF-8编码损坏的问题求助

首先，你的问题根源在于系统locale设置和字符串实际编码不匹配：你的服务器用的是Windows-1251编码（俄罗斯语系统默认编码），但你强行将字符串的编码标记为UTF-8，导致R用错误的编码规则解析字节，出现乱码。下面是具体的解决步骤：

1. 正确转换字符串编码（核心解决方法） #

不要直接设置Encoding()属性，而是先将原本是Windows-1251编码的字符串转换为UTF-8。你可以用base R的iconv()或者stringi包的函数来实现：

方法一：使用base R的iconv() #

txt <- c("привет", "пока")
# 将Windows-1251编码的字符串转换为UTF-8
txt_utf8 <- iconv(txt, from = "Windows-1251", to = "UTF-8")

# 验证结果
Encoding(txt_utf8) # 输出："UTF-8" "UTF-8"
print(txt_utf8)    # 正常显示西里尔文

方法二：使用stringi包更稳妥 #

stringi对多语言编码的支持更好，还能自动检测编码：

library(stringi)
txt <- c("привет", "пока")

# 先检测字符串的实际编码（可选，但能确认）
stri_enc_detect(txt) 
# 会输出类似：[[1]]$Encoding包含"Windows-1251"，置信度很高

# 转换为UTF-8
txt_utf8 <- stri_encode(txt, from = "Windows-1251", to = "UTF-8")

2. 解决quanteda包的编码问题 #

quanteda依赖正确的UTF-8编码输入，所以先将文本转换为UTF-8再传入函数：

library(quanteda)

# 先处理文本为UTF-8
txt_utf8 <- iconv(txt, from = "Windows-1251", to = "UTF-8")

# 创建语料库和tokens，此时不会乱码
corp <- corpus(txt_utf8)
toks <- tokens(corp)

3. 系统层面的长期优化（如果服务器允许修改） #

如果可以调整服务器的R启动配置，你可以让R默认使用UTF-8编码：

• 在R的快捷方式或启动脚本中添加参数：--encoding=UTF-8
• 尝试设置系统locale为UTF-8（需要服务器支持UTF-8语言包）：

  Sys.setlocale(category = "LC_ALL", locale = "Russian_Russia.UTF-8")
  

  注意：Windows Server 2012 R2可能需要先安装对应的UTF-8语言包才能生效。

为什么你的原始操作会出错？ #

当你执行Encoding(txt) <- "UTF-8"时，你只是告诉R“这个字符串是UTF-8编码的”，但实际上txt在Windows-1251的locale环境下，存储的是Windows-1251的字节（比如"привет"的字节是\xe7\xed\xe0\xfe\xf2）。R用UTF-8规则解析这些字节，自然会出现乱码——这就像把中文拼音当成英文读，肯定不通。

另外你提到Excel加载和保存正常，是因为Excel会自动匹配系统locale的编码（Windows-1251），所以读写时不会出错；而quanteda需要明确的UTF-8输入，所以必须先转换编码。

内容的提问来源于stack exchange，提问作者Maria