如何基于关联列高效筛选96种刺激的识别与高置信度数据？

问题说明 #

我手头有包含96种不同刺激的识别数据，数据列分为两类：

• 后缀为_recognition的列：取值为1时代表识别成功
• 后缀为_recog_confidence的列：记录对应识别的置信度评分

列名示例如alligator_recognition、alligator_recog_confidence。需求是筛选出**至少满足一个刺激对应条件（_recognition=1 且 _recog_confidence>7）**的数据行。目前可以用grep或逐个处理刺激的方式实现，但希望找到更高效的批量处理方法。

附示例数据代码：

alligator_recognition <- c(1,1,2,2,2,2,2,2,2) 
alligator_recog_confidence <- c(7,9,11,1,10,5,9,8,8)
sheep_recognition <- c(2,2,1,2,2,1,2,2,2)
sheep_recog_confidence <- c(3,8,1,2,9,3,8,11,5)
worm_recognition <- c(2,2,1,2,2,1,2,1,1)
worm_recog_confidence <- c(9,9,11,1,10,6,8,11,2)
data <- data.frame(alligator_recognition, alligator_recog_confidence, 
                   sheep_recognition, sheep_recog_confidence, worm_recognition,
                   worm_recog_confidence)

解决方案 #

方法1：使用tidyverse（代码易读，适配性强） #

通过将宽格式数据转长，统一筛选条件后提取有效行：

library(tidyverse)

# 添加行号并转换为长格式，按刺激分组
data_long <- data %>%
  mutate(row_id = row_number()) %>%
  pivot_longer(
    cols = -row_id,
    names_to = c("stimulus", ".value"),
    names_pattern = "(.*)_(recognition|recog_confidence)"
  )

# 筛选符合条件的唯一行号
valid_row_ids <- data_long %>%
  filter(recognition == 1, recog_confidence > 7) %>%
  pull(row_id) %>%
  unique()

# 从原数据中提取有效行
filtered_data <- data[valid_row_ids, ]

方法2：Base R原生实现（无需额外安装包） #

通过批量生成条件逻辑，合并后筛选：

# 提取所有刺激的前缀名称
stimuli_list <- unique(sub("_recognition", "", grep("_recognition", colnames(data), value = TRUE)))

# 为每个刺激生成条件表达式
condition_list <- lapply(stimuli_list, function(stim) {
  data[[paste0(stim, "_recognition")]] == 1 & data[[paste0(stim, "_recog_confidence")]] > 7
})

# 合并所有条件（只要满足任一刺激的要求即可）
final_condition <- Reduce(`|`, condition_list)

# 筛选数据
filtered_data <- data[final_condition, ]

两种方法都能自动适配所有96种刺激，无需手动逐个编写筛选逻辑，大幅提升效率。

内容的提问来源于stack exchange，提问作者Loffire