R语言中含breve（й）的西里尔字母过滤失效问题求助

问题原因 #

这是Unicode字符标准化差异导致的：西里尔字母中的“й”存在两种Unicode编码形式：

• 预组合字符：U+0439（单个字符直接表示“й”）
• 分解组合字符：U+0435（е） + U+0306（breve符号，即上方短横）
  你代码里手动输入的“гей”和数据框中存储的“гей”大概率用了不同的编码形式，直接用==做精确匹配时，R会判定二者不相等，因此无法筛选出结果。

解决办法 #

使用字符标准化工具统一编码形式后再筛选，推荐用stringi包（处理多语言字符更可靠）：

步骤1：安装并加载依赖包 #

install.packages("stringi")
library(stringi)

步骤2：标准化后执行筛选 #

先把数据列和筛选关键词统一为同一种Unicode标准化形式（比如NFC预组合形式），再做匹配：

# 标准化数据框的lex_1列
df$lex_1 <- stri_normalize(df$lex_1, "NFC")
# 标准化筛选关键词
target_word <- stri_normalize("гей", "NFC")
# 执行筛选
kolokasi_gay <- df[df$lex_1 == target_word, ]

如果习惯用dplyr语法，也可以这么写：

library(dplyr)
library(stringi)

kolokasi_gay <- df %>%
  mutate(lex_1 = stri_normalize(lex_1, "NFC")) %>%
  filter(lex_1 == stri_normalize("гей", "NFC"))

验证差异的方法 #

可以先查看字符的Unicode码点，确认编码形式是否不同：

# 查看数据框中第一个"гей"的码点
stri_enc_toutf32(df$lex_1[1])
# 查看手动输入"гей"的码点
stri_enc_toutf32("гей")

如果输出的数字数组不一致，就说明确实是编码形式差异导致的匹配失败。

内容的提问来源于stack exchange，提问作者pindakazen