R语言中波兰字符经gsub等函数处理后编码异常问题求助

问题背景 #

我有一个包含字符向量的数据框，数据是去年在不同Windows电脑上抓取某网站的结果。合并后发现，使用gsub（str_replace也存在同样问题）处理文本（移除异常空格\s+）时，部分波兰字符出现编码失真。voivodeshipRaw为原始数据列，voivodeshipProcessed是处理后的字符向量。

编码检测结果 #

用Encoding()和stri_enc_detect()检测发现编码不一致：voivodeshipProcessed中id为4、7、1946505、1946507的单元格，Encoding()返回unknown，stri_enc_detect()识别为windows-1250。

已尝试的无效方案 #

我试过以下编码转换函数，但问题依旧：

stri_enc_toutf8 = stri_enc_toutf8(str = voivodeshipRaw)

encoding = sapply(voivodeshipRaw, function(x){
      Encoding(x) <- "UTF-8"
      return(x)
      })

iconv = iconv(voivodeshipRaw, from = "windows-1250", to = "utf-8")

字符原始字节对比 #

• 正确编码的śląskie（id:1946504）charToRaw()输出：

# id: 1946504 -> 正常编码
c5 9b 6c c4 85 73 6b 69 65

• 编码异常的同省数据（id:1946505）charToRaw()输出：

# id: 1946505 -> 编码错误
9c 6c b9 73 6b 69 65

系统环境信息 #

sessionInfo()
# R version 4.1.1 (2021-08-10)
# Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 10 x64 (build 19045)

locale:
[1] LC_COLLATE=Polish_Poland.1250  LC_CTYPE=Polish_Poland.1250    LC_MONETARY=Polish_Poland.1250 LC_NUMERIC=C                   LC_TIME=Polish_Poland.1250    
system code page: 1251

核心问题 #

如何避免在使用gsub、stringr或stringi类函数处理后出现这类波兰字符编码失真问题？

解决思路及步骤 #

1. 先统一原始数据编码，再做文本处理
   乱码根源是原始数据编码不一致，直接处理会破坏字节结构。先对每个单元格做编码检测与转换：

library(stringi)

# 批量检测并修复编码的函数
fix_encoding <- function(x) {
  # 获取置信度最高的编码类型
  enc_detect <- stri_enc_detect(x)[[1]]
  best_enc <- enc_detect$Encoding[which.max(enc_detect$Confidence)]
  
  # 仅对非UTF-8内容做转换
  if (best_enc != "UTF-8" && best_enc != "") {
    x <- stri_enc_toutf8(stri_enc_from(x, best_enc))
  }
  return(x)
}

# 应用到原始数据列
voivodeshipRaw_fixed <- sapply(voivodeshipRaw, fix_encoding)

2. 处理文本时指定UTF-8编码环境
   调用字符串处理函数前，临时切换locale到UTF-8，避免系统默认的windows-1250/1251干扰：

# 保存原locale设置
old_locale <- Sys.getlocale("LC_CTYPE")
# 临时切换到UTF-8环境
Sys.setlocale("LC_CTYPE", "UTF-8")

# 执行文本处理（示例：移除多余空格）
voivodeshipProcessed <- gsub("\\s+", "", voivodeshipRaw_fixed)

# 恢复原locale设置
Sys.setlocale("LC_CTYPE", old_locale)

3. 验证转换结果
   用charToRaw()检查处理后的字节，确保波兰字符的字节与正常编码一致（如śląskie对应字节c5 9b 6c c4 85 73 6b 69 65）。

内容的提问来源于stack exchange，提问作者Jeparov