R语言使用正则无法移除�符号且tolower报错的解决方法

• 你看到的�是Unicode替换字符（编码为U+FFFD），一般是文本读取时编码不匹配、无法识别原字节时生成的占位符。直接在gsub()里写"�"做匹配经常失效，是因为代码存储环境和文本数据的编码不一致时，R无法识别你写入的�和文本里的占位符是同一个字符。
• 这类无效编码字符存在时，tolower()做大小写转换需要匹配标准字符编码映射，碰到无合法映射的占位符就会抛出错误。
• 你原有代码第一行的正则写法有误：POSIX字符类[:blank:]必须嵌套在方括号表达式内才能生效，你写的[^[0-9A-Za-z][:blank:]]逻辑不符合正则规则，无法实现“保留数字、字母、空白，移除其余特殊字符”的预期。

• 优先从数据读取环节规避问题：读入文本时显式指定和数据源匹配的编码（常见如UTF-8、GB18030），从根源减少无效替换字符的生成。
• 针对已经读入R环境的数据，用Unicode转义序列精准匹配U+FFFD字符做删除，同时修正正则规则，修正后的函数如下：

normalize_name <- function(name){
  # 修正正则规则：保留数字、大小写字母、空白类字符，移除其余所有字符
  normalized_name <- gsub("[^0-9A-Za-z[:blank:]]", "", name)
  # 用Unicode转义匹配U+FFFD替换字符，按字节匹配绕过编码不一致问题
  normalized_name <- gsub("\uFFFD", "", normalized_name, useBytes = TRUE)
  # 编码规范化，清除剩余非法字节，避免后续转小写报错
  normalized_name <- iconv(normalized_name, from = "", to = "UTF-8", sub = "")
  normalized_name <- tolower(normalized_name)
  return(normalized_name)
}

内容的提问来源于stack exchange，提问作者SRosa