R语言中按规则替换NA并控制占比不超30%的问题排查

数据集示例 #

dat=structure(list(Y = c(2282L, 2565L, 2242L, 2109L, 2704L, 2352L, 
2492L), is_red_ndvi_v_down = c("yes", "yes", "no", "yes", "yes", 
"yes", "no"), ndvi_v_down = c(0.032460447, 0.028369653, 0.017094017, 
0.016972906, 0.015228979, 0.020649285, 0.028151986), is_red_mtci_vi_max = c("yes", 
"yes", "yes", "yes", "yes", "yes", "no"), mtci_vi_max = c(0.459463725, 
0.624581753, 0.573445082, 0.478436429, 0.299561108, 0.446878491, 
0.818814539), is_red_ndvi_d85down = c("yes", "yes", "no", "yes", 
"yes", "yes", "no"), ndvi_d85down = c(159L, 157L, 150L, 150L, 
172L, 178L, 153L), is_red_rgvis_vi_min2 = c("yes", "yes", "no", 
"yes", "yes", "yes", "yes"), rgvis_vi_min2 = c(0.606465651, 0.6024961, 
0.665637406, 0.657639244, 0.630343941, 0.641025641, 0.644292757
)), class = "data.frame", row.names = c(NA, -7L))

需求说明 #

数据集包含Y变量和多组预测变量：以is_red为前缀的是标记列（取值yes/no），其后紧跟对应数值列。需要实现以下逻辑：

• 若某行中"no"标记的数量超过3个，则将该行中对应"no"的数值列设为NA；
• 最终整个数据集的NA行数不能超过总行数的30%（例如265行最多80行）。

现有问题 #

尝试了以下代码，但结果替换了104行，超出80行的限制，需要只替换80行，剩余24行不处理：

no_count <- apply(dat, 1, function(row) sum(grepl("no", row)))

rows_to_replace <- which(no_count > 3)

num_rows_to_replace <- length(rows_to_replace)

if (num_rows_to_replace > round(0.3 * nrow(dat))) {
  dat[rows_to_replace, grepl("no", names(dat))] <- NA
}

错误点 #

现有代码的核心逻辑错误：当需要替换的行数超过阈值时，仍然对所有符合条件的行执行替换操作，完全没有限制替换数量，自然会超出阈值。此外，统计"no"数量时未限定仅在is_red前缀列中统计，可能误算其他列；替换时直接匹配列名含"no"的列，会错误修改标记列而非对应数值列。

修正后的代码 #

# 仅针对is_red前缀的标记列，统计每行的"no"数量
no_count <- apply(dat[, grepl("^is_red", names(dat))], 1, function(row) sum(row == "no"))

# 筛选出"no"数量超过3的候选行索引
candidate_rows <- which(no_count > 3)

# 计算允许替换的最大行数（总行数的30%）
max_replace <- round(0.3 * nrow(dat))

# 若候选行数超过阈值，仅选取允许数量的行（示例取前N行，也可改为随机选取）
rows_to_replace <- if (length(candidate_rows) > max_replace) {
  candidate_rows[1:max_replace]
  # 若要随机选取，替换为：sample(candidate_rows, max_replace)
} else {
  candidate_rows
}

# 对选中的行，将对应"no"标记的数值列设为NA
for (row_idx in rows_to_replace) {
  # 获取当前行中标记为"no"的is_red列名
  no_mark_cols <- names(dat)[grepl("^is_red", names(dat)) & dat[row_idx, grepl("^is_red", names(dat))] == "no"]
  # 匹配对应的数值列名（去掉is_red_前缀）
  target_value_cols <- sub("^is_red_", "", no_mark_cols)
  # 设置为NA
  dat[row_idx, target_value_cols] <- NA
}

关键改进点 #

1. 精准统计"no"数量：仅在is_red前缀的标记列中统计，避免误算其他无关列。
2. 严格限制替换行数：当候选行数超过阈值时，只保留允许数量的行（支持按顺序或随机选取）。
3. 精准定位数值列：通过去掉is_red_前缀，匹配标记列对应的数值列，避免错误修改标记列本身。

内容的提问来源于stack exchange，提问作者psysky