R语言字符向量编码统一：将UTF-8与latin1转为一致的latin1

这是个典型的编码陷阱！你的两个"côte"看起来一模一样，但底层编码分别是UTF-8和latin1，所以才会出现不相等的情况。要把它们统一成latin1编码并让二者相等，试试下面的方法：

方法1：针对性转换指定元素 #

先定位编码不同的元素，再用iconv()转换编码：

# 原向量
x <- c("c\u00f4te", "côte")

# 查看当前编码
Encoding(x)
# 输出: [1] "UTF-8"  "latin1"

# 将第一个UTF-8编码的元素转换为latin1
x[1] <- iconv(x[1], from = "UTF-8", to = "latin1")

# 再次检查编码
Encoding(x)
# 输出: [1] "latin1" "latin1"

# 验证是否相等
x[1] == x[2]
# 输出: [1] TRUE

方法2：批量转换整个向量 #

如果不确定向量里有多少不同编码的元素，可以直接批量转成latin1：

x <- iconv(x, to = "latin1")

# 检查编码和相等性
Encoding(x)
# 输出: [1] "latin1" "latin1"
x[1] == x[2]
# 输出: [1] TRUE

原理说明 #

iconv()函数负责在不同字符编码间转换，这里我们把UTF-8编码的字符映射到latin1编码的对应字符。当两个字符串的编码和字符内容完全一致时，它们自然就相等了。

另外，Encoding()是排查编码问题的利器，能直接看到字符串的底层编码；showNonASCII()和iconv(x, to="ASCII//TRANSLIT")可以辅助你发现非ASCII字符的编码差异，像你之前看到的"cA?te"就是UTF-8字符转ASCII时的异常提示，也能侧面说明编码不一致。

内容的提问来源于stack exchange，提问作者Mohamed