使用read_csv读取CSV文件时的字符匹配异常与编码问题求助

核心问题：不同连字符/破折号的字符差异 #

你遇到的不是编码不匹配问题——文件和会话的UTF-8编码是对的，问题出在两个看似相同的“横线”是完全不同的Unicode字符：

• 手动输入的是普通连字符（hyphen-minus，Unicode U+002D），即键盘上的-
• 数据文件里的是短破折号（en dash，Unicode U+2013），显示为–（比普通连字符稍长）

这两个字符在UTF-8中是独立的，直接用==匹配时会判定为不相等，导致筛选失败；而复制粘贴时会直接获取到数据里的en dash，所以匹配成功。

验证方法 #

用charToRaw()查看字符的底层编码，可确认差异：

# 查看手动输入的连字符编码
charToRaw("-")
# 输出：0x2d

# 查看数据中名称里的破折号编码（先提取目标字符）
charToRaw(substr(fl$NAME[fl$FIPS == "02105"], 7,7))
# 输出：0xe2 0x80 0x93

解决方案 #

方法1：批量清理数据中的破折号 #

把数据里的en dash统一替换为普通连字符，之后就能用手动输入的字符正常筛选：

library(stringr)
fl$NAME <- str_replace_all(fl$NAME, "\u2013", "-")

方法2：筛选时使用正确的字符 #

如果不想修改原始数据，可直接在筛选时使用en dash（复制数据中的字符，或用Unicode转义符\u2013）：

fl %>% filter(NAME == 'Hoonah\u2013Angoon Census Area')

方法3：读取文件时直接处理 #

在read_csv读取阶段就完成替换，避免后续问题：

library(readr)
library(dplyr)
fl <- read_csv("your_file.csv") %>%
  mutate(NAME = str_replace_all(NAME, "\u2013", "-"))

补充说明 #

str_detect(fl$NAME, 'Hoonah')能成功，是因为它只匹配字符串前缀，不涉及后面的破折号字符，所以不受影响。

内容的提问来源于stack exchange，提问作者whdaffer