在R语言中移除调查数据中的特殊字符与HTML字符的方法

针对data.frame格式的调查数据中存在的多余特殊字符（如重复双引号）、HTML转义标签（如<a8>）问题，可以用R语言的stringr和dplyr包快速清理，以下是具体实现：

步骤1：定义清理函数 #

library(dplyr)
library(stringr)

clean_survey_text <- function(text) {
  # 移除所有HTML转义标签（如&lt;a8&gt;）
  text_clean <- str_remove_all(text, "&lt;.*?&gt;")
  # 将连续重复的双引号替换为单个双引号
  text_clean <- str_replace_all(text_clean, '["]+', '"')
  # 去除文本首尾的多余引号与空格
  text_clean <- str_trim(str_remove_all(text_clean, '^"|"$'))
  return(text_clean)
}

步骤2：测试示例文本 #

# 示例输入文本
input_text <- "&lt;a8&gt;\"\"\"\"If you do not participate in any school or community activities or clubs, please describe why. (If you do not want to respond to this item, type \"\"\"\"\"\"\"\"skip\"\"\"\"\"\"\"\".)\"\"\"\"&lt;a8&gt;"
# 执行清理
clean_text <- clean_survey_text(input_text)
# 输出结果
cat(clean_text)

执行后将得到目标输出：

If you do not participate in any school or community activities or clubs, please describe why. (If you do not want to respond to this item, type "skip".)

步骤3：批量处理data.frame #

假设你的数据框为survey_data，需要清理的列名为response，可以批量生成清理后的列：

survey_data <- survey_data %>%
  mutate(clean_response = clean_survey_text(response))

内容的提问来源于stack exchange，提问作者Simon Harmel