R语言去除表情后字符串非空问题及NA替换方案咨询

原因 #

你遇到的问题核心是部分表情属于多字符组合结构——比如示例中的♥️，是由基础表情符号♥加上不可见的「变体选择符U+FE0F」组合而成的。stringr的[[:emoji:]]字符类仅匹配了基础的emoji字符，没有覆盖这类附加的变体控制字符。移除表情后，这些不可见的残留字符仍然存在，导致字符串看起来是空的，但实际长度不为0，因此na_if()无法将其识别为空字符串替换成NA。

你可以通过以下代码验证残留字符：

# 查看残留字符的原始编码
charToRaw(df_new$x[2])
# 输出会显示类似 0xef 0xb8 0x8f（对应U+FE0F）的字节

解决方法 #

方法1：用更全面的表情匹配规则（推荐） #

使用stringi包的stri_replace_all_charclass()函数，它能识别更完整的emoji范围（包括组合型表情和变体字符）：

library(tidyverse)
library(stringi)

df <- data.frame(x = c("test","♥️♥️🙌♥"))

df_new <- df |>
  # 移除所有emoji相关字符
  mutate(x = stri_replace_all_charclass(x, "\\p{Emoji}", "")) |>
  # 替换空字符串为NA
  mutate(x = na_if(x, ""))

# 验证结果
is_empty(df_new$x[2]) # 现在返回TRUE

方法2：补充移除不可见控制字符 #

如果不想额外安装stringi，可以在原有代码基础上，补充移除所有不可见的控制字符：

library(tidyverse)

df <- data.frame(x = c("test","♥️♥️🙌♥"))

df_new <- df |>
  mutate(x = str_remove_all(x, "[[:emoji:]]")) |>
  # 移除所有控制字符（包括变体选择符、空白等不可见字符）
  mutate(x = str_remove_all(x, "\\p{C}")) |>
  mutate(x = na_if(x, ""))

方法3：直接过滤非可打印字符 #

如果你的文本只需要保留普通可打印字符（字母、数字、符号），可以直接移除所有非可打印的Unicode字符：

df_new <- df |>
  mutate(x = str_remove_all(x, "\\P{Print}")) |>
  mutate(x = na_if(x, ""))

内容的提问来源于stack exchange，提问作者Aaron Philipp