如何批量将数据框列表中的UTF-8转ASCII并清理特殊字符

方法1：使用purrr包实现嵌套批量处理 #

适合习惯tidyverse风格的用户，代码简洁易读：

library(purrr)

# 定义字符变量清理函数
clean_chars <- function(x) {
  if (is.character(x)) {
    # 处理编码转换，若原数据是Windows-1252编码（\x96属于该编码），请替换from参数为"Windows-1252"
    iconv(x, from = "UTF-8", to = "ASCII", sub = "")
  } else {
    x
  }
}

# 遍历列表中所有数据框，批量处理每一列
cleaned_list <- map(lst, ~map_df(., clean_chars))

方法2：Base R原生实现（无需额外包） #

适合不想加载第三方包的场景：

# 定义清理函数，同时兼容\x96的特殊处理
clean_chars <- function(x) {
  if (is.character(x)) {
    # 针对\x96的精准替换（若原编码是Windows-1252，直接用\x96；UTF-8编码则用\u2013）
    x <- gsub("\u2013", "", x, fixed = TRUE)
    # 统一清理所有非ASCII特殊字符
    x <- iconv(x, from = "UTF-8", to = "ASCII", sub = "")
  }
  x
}

# 遍历列表中的每个数据框，处理所有变量
cleaned_list <- lapply(lst, function(df) {
  df[] <- lapply(df, clean_chars)
  df
})

关于\x96处理失败的关键说明 #

你之前用gsub未成功，核心原因是编码不匹配：

• \x96是Windows-1252编码中的短破折号，而如果你的数据实际是UTF-8编码，该字符的UTF-8表示为\u2013，直接用\x96匹配会找不到目标
• 可以先用Encoding(df$var1)查看变量的实际编码，再调整替换字符或iconv的from参数

内容的提问来源于stack exchange，提问作者Stataq