R中Plyr包ldply函数导致文本UTF-8编码丢失的问题

我帮你分析下这个问题——你用lapply()批量请求目的地翻译API后，三层嵌套列表里的UTF-8特殊字符显示正常，但用ldply()转成数据框就乱码了，这大概率是ldply在转换过程中没正确保留UTF-8编码属性导致的。下面给你几个靠谱的解决办法：

方案1：用tidyverse的map_dfr替代ldply #

plyr包的工具相对老旧，tidyverse里的purrr::map_dfr()对编码的兼容性更好，语法也更直观。试试这个：

library(purrr)
# 直接将嵌套列表按行绑定成数据框，强制不转因子
localisedDestinationNameDf <- map_dfr(localisedDestinationName, data.frame, stringsAsFactors = FALSE)

map_dfr会自动保留原始字符的UTF-8编码属性，基本不会出现乱码问题，这也是现在更推荐的列表转数据框方式。

方案2：如果坚持用ldply，转完后手动修复编码 #

要是你不想换包，可以在ldply转换时先禁用因子转换，再手动恢复字符列的UTF-8编码：

library(plyr)
# 转换时指定不转因子
localisedDestinationNameDf <- ldply(localisedDestinationName, data.frame, stringsAsFactors = FALSE)
# 遍历所有字符列，重置编码为UTF-8
localisedDestinationNameDf <- dplyr::mutate_if(localisedDestinationNameDf, is.character, function(col) {
  Encoding(col) <- "UTF-8"
  col
})

如果还是有问题，也可以用iconv()强制重新编码：

# 替换成你的目标列名
localisedDestinationNameDf$localisedDestinationName <- iconv(
  localisedDestinationNameDf$localisedDestinationName,
  from = "UTF-8",
  to = "UTF-8",
  sub = ""
)

方案3：确保R会话的全局编码是UTF-8 #

有时候乱码也和R的系统locale设置有关，先检查并设置全局编码：

# 查看当前locale
Sys.getlocale(category = "LC_ALL")
# 设置为UTF-8（Windows用户可能需要改成对应语言的UTF-8 locale，比如"Chinese_Simplified.UTF-8"）
Sys.setlocale(category = "LC_ALL", locale = "en_US.UTF-8")
# 或者设置环境变量
Sys.setenv(LANG = "en_US.UTF-8")

为什么会出现这个问题？ #

早期版本的ldply()默认会把字符向量转换为因子，而因子的编码依赖于系统locale，如果你的系统locale不是UTF-8，特殊字符就会被转义成乱码。即使你禁用了因子转换，ldply在扁平化三层嵌套列表时，也可能丢失字符的UTF-8编码标记，导致显示异常。而map_dfr()在设计时就考虑了编码保留的问题，所以更适合处理多语言字符场景。

内容的提问来源于stack exchange，提问作者Tim496