内存高效计算球员全时间区间相对排名的技术问询

问题背景 #

需要对比特定球员（如P1）与其他所有球员的累计进球表现，基于按时间（年度/月度）统计的进球数据，分析该球员在所有连续时间区间内的表现优劣：

• 10年年度数据对应10×10/2=50个时间区间，示例中2003-2008年的10名球员里，目标球员以85球排名第一。
• 切换为10年月度数据时，时间区间数变为120×120/2=7200，结果本身数据量不大，但在32位R环境下，当球员数量达到5000甚至20000时，原基于dplyr::inner_join的方法会因内存不足报错：Error: cannot allocate vector of size 1.1 Gb。

核心需求：用内存高效的方法，计算目标球员在每个时间区间的相对百分比排名。

优化思路 #

原方法的内存瓶颈在于自连接生成了所有球员的所有时间区间组合：当球员数N=20000、时间点T=120时，自连接后的行数为N×T×T=288,000,000，直接导致内存溢出。

优化方案：

1. 先计算所有球员的累计进球前缀和，快速推导任意时间区间的进球总和。
2. 仅生成目标球员的所有时间区间，再针对每个区间统计所有球员的进球和，计算排名，避免生成巨量中间数据。

内存高效的R实现代码 #

library(tidyverse)
library(plotly)
library(lubridate)

set.seed(1)

# 配置参数
analyse_for_player <- "P1"
number_of_players <- 20000  # 支持大样本量
number_of_months <- 120     # 月度数据，对应10年

# 生成示例数据：确保每个球员的时间序列连续无缺失
dates <- seq(as.Date("1900/12/31"), by = "month", length.out = number_of_months)
df <- expand_grid(player = paste0("P", seq(1, number_of_players)), date = dates) %>%
  mutate(goals = round(runif(n(), min = 0, max = 20), 0))

# 步骤1：计算每个球员的累计进球前缀和，并为日期分配索引
player_cumulative <- df %>%
  arrange(player, date) %>%
  group_by(player) %>%
  mutate(cum_goals = cumsum(goals)) %>%
  ungroup() %>%
  mutate(date_idx = as.integer(factor(date, levels = dates)))

# 步骤2：提取目标球员的累计进球数据，用于后续区间计算
target_player <- player_cumulative %>%
  filter(player == analyse_for_player) %>%
  select(date_idx, date, cum_goals) %>%
  rename(target_cum = cum_goals, target_date = date)

# 步骤3：生成所有合法时间区间，计算目标球员的区间进球和，再统计排名
rank_results <- expand_grid(from_idx = seq_len(number_of_months), to_idx = seq_len(number_of_months)) %>%
  filter(to_idx >= from_idx) %>%
  # 关联目标球员的累计值，计算区间进球和
  left_join(target_player %>% select(from_idx = date_idx, target_cum_from = target_cum), by = "from_idx") %>%
  left_join(target_player %>% select(to_idx = date_idx, target_cum_to = target_cum, target_date_to = date), by = "to_idx") %>%
  mutate(
    target_goalsum = if_else(from_idx == 1, target_cum_to, target_cum_to - target_cum_from),
    date_from = dates[from_idx],
    date_to = target_date_to
  ) %>%
  # 逐区间计算所有球员的进球和，以及目标球员的百分比排名
  rowwise() %>%
  mutate(
    # 利用前缀和计算当前区间所有球员的进球总和
    player_goalsums = player_cumulative %>%
      filter(date_idx == to_idx) %>%
      pull(cum_goals) - if_else(from_idx == 1, 0, player_cumulative %>% filter(date_idx == from_idx - 1) %>% pull(cum_goals)),
    # 百分比排名：进球数≤目标球员的人数占比
    RANK_PCT = mean(player_goalsums <= target_goalsum),
    n_players = length(player_goalsums)
  ) %>%
  ungroup() %>%
  select(player = analyse_for_player, date_from, date_to, goalsum = target_goalsum, RANK_PCT, n_players)

# 绘制热图展示结果
plot_ly(
  x = rank_results$date_from,
  y = rank_results$date_to,
  z = rank_results$RANK_PCT,
  text = paste0(
    "起始时间: ", rank_results$date_from, "\n",
    "结束时间: ", rank_results$date_to, "\n",
    "累计进球: ", rank_results$goalsum, "\n",
    "参与球员数: ", rank_results$n_players, "\n",
    "百分比排名: ", round(rank_results$RANK_PCT * 100, 1), "%\n"
  ),
  type = "heatmap",
  hoverinfo = "text"
)

关键优化点 #

• 内存占用大幅降低：原方法内存复杂度为O(N×T²)，优化后降至O(N×T + T²)，避免了自连接带来的巨量中间数据。
• 前缀和高效计算区间进球：通过预计算累计进球，无需对每个区间重新累加，直接用cum_goals[to] - cum_goals[from-1]得到区间进球和。
• 轻量排名计算：用mean(player_goalsums <= target_goalsum)替代分组percent_rank，无需生成所有球员的区间数据，仅在当前区间计算统计量。

内容的提问来源于stack exchange，提问作者obsaditelnost