R 4.2.1升级至4.3.0后gsub函数出现编码错误求助

问题背景 #

将R从4.2.1升级到4.3.0后，原脚本中针对爱沙尼亚语Shapefile数据的字符串替换操作失效。通过sf::st_read读取的含ü、õ等特殊字符的数据，执行gsub替换\xfc为ü时，抛出'pattern' is invalid或unable to translate '<fc>' to a wide string错误；尝试双重转义后，又出现input string 1 is invalid提示，该逻辑在R4.2.1中可正常运行。

解决方案 #

1. 转换字符串编码为UTF-8 #

R4.3.0默认严格使用UTF-8编码，而Shapefile数据的字符大概率是ISO-8859-1（Latin-1）编码，直接转换编码即可自动修正字符显示：

maakasutus <- iconv(maakasutus, from = "ISO-8859-1", to = "UTF-8")

转换完成后，原本的\xfc会自动解析为UTF-8格式的ü，无需再手动执行替换操作。

2. 使用stringi包处理编码兼容问题 #

如果编码转换仍有异常，stringi包对多编码场景的兼容性更强，可指定编码进行精准替换：

library(stringi)
# 指定原字符串编码为ISO-8859-1，替换目标字符为UTF-8的ü
maakasutus <- stri_replace_all_fixed(maakasutus, "\xfc", "ü", opts_fixed = list(encoding = "ISO-8859-1"))

3. 读取Shapefile时指定编码（可选） #

若允许调整读取环节，可在st_read时直接指定编码，从源头避免编码混乱：

library(sf)
# 读取时指定Shapefile的编码为ISO-8859-1
shp_data <- st_read("your_shapefile_path.shp", options = "ENCODING=ISO-8859-1")
maakasutus <- shp_data$maakasutus

问题原因 #

R 4.3.0对字符串编码的校验和处理逻辑更严格，默认强制使用UTF-8编码；而R4.2.1对非UTF-8编码的容错性更高，能自动解析Latin-1的转义序列（如\xfc）。升级后，旧版本中合法的非UTF-8字符序列被识别为无效输入，导致替换操作报错。

内容的提问来源于stack exchange，提问作者mattu