R语言如何检测过滤向量中损坏字符串并生成损坏项索引

核心判定逻辑 #

损坏字符串主要分两类，命中任意一类即可标记为异常：

• 编码类异常：包含转义控制字符、无法解析为有效目标编码的乱码字节片段，比如示例中第一个字符串的\231\220这类八进制转义残留、错转产生的西欧字符乱码
• 格式类异常：包含不成对的引号、无意义重复的标点，比如示例中第二个字符串的""Achema""这类错误引号格式

可直接运行的实现代码 #

# 定义损坏字符串判定函数
is_broken <- function(x) {
  # 规则1：匹配控制类转义字符
  hit_control <- grepl("[[:cntrl:]]", x, perl = TRUE)
  # 规则2：匹配错转产生的典型乱码字符，排除正常西欧语言文本
  hit_garble <- grepl("[åäçèéëìíîïðñòóôõöøùúûü]", x, perl = TRUE) & 
    !grepl("^[a-zA-Z0-9\\s&.'-]*$", x, perl = TRUE)
  # 规则3：匹配异常引号（奇数个引号、连续双引号包裹文本的错误格式）
  quote_num <- lengths(regmatches(x, gregexpr("\"", x)))
  hit_bad_quote <- quote_num %% 2 != 0 | grepl("\"\"[A-Za-z]", x, perl = TRUE)

  return(hit_control | hit_garble | hit_bad_quote)
}

# 测试示例数据
dat <- c("天脊煤化工集团股份有é\231\220å…¬å\217¸", "AB \"\"Achema\"\"", 
         "Abu Qir Fertilizers & Chemical", "Abu Zaabal Fertilizer &", 
         "ADP - Adubos De Portugal SA")

# 提取损坏字符串的位置索引
broken_pos <- which(is_broken(dat))
print(broken_pos) # 输出1、2，和预期一致

# 过滤得到干净的字符串集合
clean_dat <- dat[!is_broken(dat)]

适配调整说明 #

• 如果你的数据集本身包含大量法语、西班牙语等合法西欧语言文本，可以把规则2替换为编码合法性检测：用stringi::stri_enc_isutf8(charToRaw(x))判断字节序列是否为有效UTF-8编码，避免误判合法文本。
• 如果存在其他格式异常（比如多余的特殊符号、乱码表情），直接在判定函数里新增对应的正则匹配规则即可。
• 示例里第一个字符串的乱码是典型的「UTF-8编码中文被错误按Latin-1读取」问题，如果需要修复而非过滤，可以尝试用iconv(x, from = "latin1", to = "UTF-8")转码，转码失败的再标记为损坏。

内容的提问来源于stack exchange，提问作者89_Simple