高效聚合多站点分时段气象数据的技术方法问询

针对大型CSV气象数据的聚合需求，推荐两种远优于for循环的高效实现方式：

一、使用dplyr + lubridate（语法直观，易维护） #

dplyr的分组聚合是向量化操作，性能远高于循环；lubridate能轻松处理时间步长的截断。

步骤示例： #

1. 加载依赖包

library(dplyr)
library(lubridate)

2. 读取数据（假设CSV文件名为weather_data.csv）

csd <- read.csv("weather_data.csv", stringsAsFactors = FALSE)
# 转换datetime为POSIXct格式
csd$datetime <- as.POSIXct(csd$datetime, format = "%Y-%m-%d %H:%M")

3. 按站点ID+日/月时间步长聚合

• 按日聚合：

daily_agg <- csd %>%
  mutate(date = floor_date(datetime, unit = "day")) %>% # 把小时时间截断到日
  group_by(ID, date) %>%
  summarise(
    TMin = min(TMin, na.rm = TRUE), # 加入na.rm处理缺失值
    TMax = max(TMax, na.rm = TRUE),
    TMean = mean(TMean, na.rm = TRUE)
  ) %>%
  ungroup()

• 按月聚合：只需修改unit参数为"month"

monthly_agg <- csd %>%
  mutate(month = floor_date(datetime, unit = "month")) %>%
  group_by(ID, month) %>%
  summarise(
    TMin = min(TMin, na.rm = TRUE),
    TMax = max(TMax, na.rm = TRUE),
    TMean = mean(TMean, na.rm = TRUE)
  ) %>%
  ungroup()

二、使用data.table（极致性能，适合超大规模数据） #

data.table采用内存优化和快速分组算法，在处理百万级以上数据时，性能比dplyr更优，尤其适合低配PC。

步骤示例： #

1. 加载包并读取数据

library(data.table)
csd <- fread("weather_data.csv") # fread比read.csv快数倍
csd[, datetime := as.POSIXct(datetime, format = "%Y-%m-%d %H:%M")]

2. 按日聚合：

daily_agg <- csd[, .(
    TMin = min(TMin, na.rm = TRUE),
    TMax = max(TMax, na.rm = TRUE),
    TMean = mean(TMean, na.rm = TRUE)
  ), by = .(ID, date = as.Date(datetime))] # as.Date直接提取日期部分

3. 按月聚合：

monthly_agg <- csd[, .(
    TMin = min(TMin, na.rm = TRUE),
    TMax = max(TMax, na.rm = TRUE),
    TMean = mean(TMean, na.rm = TRUE)
  ), by = .(ID, month = floor_date(datetime, unit = "month"))]

关键优化点： #

• 两个方案均为向量化操作，避免了for循环的逐行计算开销
• data.table的fread读取大型CSV的速度远快于基础R的read.csv
• 加入na.rm = TRUE是实际数据处理的必要操作，避免因缺失值导致聚合失败

内容的提问来源于stack exchange，提问作者Alexander Klug