如何按月份统计data.table中处于起止日期间的有效条目数量
问题原因
- 向量长度不匹配:
data.table的:=默认对整列操作,你代码中的start >= month & month_end <= end是拿整列的start/end(长度为你的原始记录数)和整列的month/month_end(长度为月度序列的总月数)直接按位比较,两个长度不相等的向量比较会循环复用短向量,不仅触发警告,逻辑也完全不符合预期。 - 赋值逻辑错误:
satcat[...,.N]只会计算一次全局的匹配总次数,然后把这个固定值重复赋给所有行的count字段,所以所有行结果一致。 - 判断条件逻辑可按需调整:如果你要统计整月都处于运行状态的条目,正确的判断应该是
start <= month & end >= month_end;如果要统计当月有任意一天处于运行状态的条目,正确的判断应该是start <= month_end & end >= month,你原代码的判断条件写反了起始值的比较方向。
正确实现方案
方案1:逐行分组计算(易理解,中小数据量适用)
利用by = .I按行分组,每次取当前行的month和month_end值做匹配:
library(data.table) # 生成月度序列表 month_dt <- data.table( month = seq(as.Date('1950-01-01','%Y-%m-%d'), as.Date('2021-09-01','%Y-%m-%d'), 'months'), month_end = seq(as.Date('1950-02-01','%Y-%m-%d'), as.Date('2021-10-01', '%Y-%m-%d'), 'months') -1 ) # 逐行计算匹配数,以下为统计当月有任意一天在运行的逻辑,可自行替换判断条件 month_dt[, count := satcat[start <= month_end & end >= month, .N], by = .I]
方案2:区间连接(大数据量下效率更高)
用data.table的foverlaps做区间重叠连接,避免逐行循环:
# 给原始表设置区间键 setkey(satcat, start, end) # 区间连接后按月份分组统计数量 month_dt[, count := foverlaps( month_dt, satcat, by.x = c("month", "month_end"), nomatch = 0 )[, .N, by = .(month, month_end)][.SD, on = .(month, month_end), N]] # 无匹配的月份补0 month_dt[is.na(count), count := 0]
方案3:apply系列实现
用apply逐行遍历月度序列计算:
month_dt$count <- apply(month_dt, 1, function(row) { cur_month <- as.Date(row[1]) cur_month_end <- as.Date(row[2]) # 同样可自行替换判断条件 satcat[start <= cur_month_end & end >= cur_month, .N] })
内容的提问来源于stack exchange,提问作者futuraprime
相关产品推荐
相关产品推荐

