如何用lapply替代for循环按条件移除列表中的数据集？

我手里有一个数据框列表，需要对每个数据框执行相同操作——检查每个数据集日期列中，缺失于指定日期向量的日期占比，移除占比超10%的数据框。目前用for循环实现但速度太慢，想改用lapply，但尝试的方法返回的列表全为NULL，求排查错误。

数据结构 #

# 目标日期向量
dates <- seq(as.Date("2020-02-01"), as.Date("2020-02-09"), by = "days")
# 数据框列表
df_1 <- data.frame(seq(as.Date("2020-02-01"), as.Date("2020-02-09"), by = "days"), 1:9)
names(df_1) <- c("date", "value")
df_2 <- data.frame(seq(as.Date("2020-02-01"), as.Date("2020-02-07"), by = "days"), 1:7)
names(df_2) <- c("date", "value")
df_list <- list(df_1, df_2)

当前可用但速度慢的for循环代码 #

for (i in 1:length(df_list)) {
  # 获取数据框中的日期范围
  df_date_range <- unique(df_list[[i]][["date"]])
  # 筛选从数据框起始日期开始的目标日期
  dates_reduced <- dates[dates >= min(df_date_range)]
  # 计算日期缺失占比
  missing <- mean(!(dates_reduced %in% df_date_range))
  # 移除缺失占比超过10%的数据框
  if (missing > 0.1) {
    df_list[[i]] <- NULL
  }
}

尝试的lapply方法（返回全NULL） #

# 定义lapply使用的函数
clean <- function(data, date_range) {
  # 获取数据框中的日期范围
  df_date_range <- unique(data$date)
  # 筛选从数据框起始日期开始的目标日期
  dates_reduced <- date_range[date_range >= min(df_date_range)]
  # 计算日期缺失占比
  missing <- mean(!(dates_reduced %in% df_date_range))
  # 移除缺失占比超过10%的数据框
  if (missing > 0.1) {
    data <- NULL
  }
}
# 应用函数到数据框列表
new_df_list <- lapply(df_list, clean, date_range = dates)

嘿，我一眼就瞅出你那个lapply代码的问题啦——你的clean函数没有明确返回值！这就是为啥返回的列表全是NULL的核心原因。

错误根源详解 #

在R中，函数如果没有用return()明确指定返回值，默认会返回最后一行代码的执行结果。你写的clean函数里，不管缺失占比是否超过10%，都没有返回处理后的data：

• 当missing > 0.1时，你只是把data赋值为NULL，但没有返回这个值；
• 当条件不满足时，函数执行完所有计算后就结束了，也没有返回原数据框。
  所以每次调用clean函数，最终都默认返回了NULL，自然new_df_list全是NULL咯。

修正后的代码方案 #

我们只需要给函数加上明确的返回逻辑，之后再过滤掉列表里的NULL元素，就能达到和for循环一样的效果，还更快：

# 修正后的clean函数
clean <- function(data, date_range) {
  df_date_range <- unique(data$date)
  dates_reduced <- date_range[date_range >= min(df_date_range)]
  missing <- mean(!(dates_reduced %in% df_date_range))
  
  # 明确返回结果：不符合条件返回NULL，符合条件返回原数据框
  if (missing > 0.1) {
    return(NULL)
  } else {
    return(data)
  }
}

# 应用函数后，过滤掉列表中的NULL元素
new_df_list <- lapply(df_list, clean, date_range = dates)
new_df_list <- Filter(Negate(is.null), new_df_list)

效果验证 #

用你给的示例数据测试：

• df_1的日期完全覆盖目标向量，缺失占比为0，会被保留；
• df_2的日期到2020-02-07，目标向量从它的起始日期开始共有9天，缺失2天，占比≈22.2%>10%，会被过滤掉。
  最终new_df_list里就只剩df_1，和你用for循环想要的结果完全一致，而且处理大列表时速度会比for循环快不少。

额外优化建议 #

如果你的日期列本身没有重复值，unique(data$date)可以直接换成data$date，能节省一点计算时间；要是你习惯用tidyverse风格的代码，用purrr包的函数会更简洁：

library(purrr)

new_df_list <- df_list %>%
  map(clean, date_range = dates) %>%
  discard(is.null)

内容的提问来源于stack exchange，提问作者erikfjonsson