如何在R语言中移除大写字母占比超50%的数据框行？

一、按字母总数的占比过滤 #

要移除大写字母占所有字母比例超过50%的行，可通过计算每行的大写字母占比实现：

# 计算每行的大写字母数量
n_upper <- nchar(gsub("[^A-Z]", "", data$text))
# 计算每行的总字母数量（仅统计A-Za-z）
n_total <- nchar(gsub("[^A-Za-z]", "", data$text))
# 判断保留条件：总字母数为0时默认保留，否则占比≤50%
keep_rows <- ifelse(n_total == 0, TRUE, (n_upper / n_total) <= 0.5)
# 过滤得到清洗后的数据集
data_cleaned <- data[keep_rows, ]

代码说明： #

• gsub("[^A-Z]", "", data$text)：移除所有非大写字母的字符，剩余字符长度即为大写字母数量
• gsub("[^A-Za-z]", "", data$text)：移除所有非字母字符，得到总字母数
• 加入ifelse处理总字母数为0的特殊情况，避免除以0的错误

二、按单词总数的占比过滤 #

如果需求是移除**全大写单词占总单词数比例超过50%**的行，可使用以下代码：

# 定义函数：计算单条文本中全大写单词的占比
upper_word_ratio <- function(text) {
  # 按非单词字符拆分出单词列表
  words <- strsplit(text, "\\W+")[[1]]
  # 移除拆分后产生的空字符串
  words <- words[words != ""]
  # 无单词时返回0占比
  if (length(words) == 0) return(0)
  # 统计全大写单词的数量
  upper_count <- sum(grepl("^[A-Z]+$", words))
  # 返回占比
  upper_count / length(words)
}

# 计算每行文本的全大写单词占比
ratios <- sapply(data$text, upper_word_ratio)
# 过滤占比≤50%的行
data_cleaned <- data[ratios <= 0.5, ]

代码说明： #

• strsplit(text, "\\W+")：按任意非字母数字下划线的字符拆分单词，适配大多数文本分隔场景
• grepl("^[A-Z]+$", words)：判断单个单词是否为全大写（仅包含A-Z）
• 处理了无单词的特殊情况，保证代码鲁棒性

内容的提问来源于stack exchange，提问作者Alex