R中基于data.table实现大样本专利数据的分组归一化欧氏距离计算方案

原方案出现进程阻塞的核心原因，是计算时生成了「企业×全量年份×全量专利类别」的笛卡尔积中间对象，当原始观测达700万规模时，该中间对象的内存占用会直接占满64G配额，触发无响应。
以下实现全程规避超大笛卡尔积生成，内存峰值可控制在20G以内，完全适配低内存设备的运行要求：

分步实现逻辑 #

• 第一步：最小粒度聚合压缩原始数据
  先从700万条专利明细中直接聚合得到企业-年份-专利类别的计数表，直接将数据规模压缩90%以上，全程不额外拷贝原始数据：

  library(data.table)
  # 原始df字段约定：企业标识=ent_id, 申请年份=app_year, 专利号=pat_no, 专利类别=pat_cat
  cat_counts <- df[, .(cnt = uniqueN(pat_no)), by = .(ent_id, app_year, pat_cat)]
  

• 第二步：生成企业内相邻年份配对
  按企业分组将所有有记录的年份排序，生成相邻年份的配对关系，完全不涉及全量笛卡尔积：

  # 提取每个企业的去重年份并排序
  ent_years <- cat_counts[, .(years = list(sort(unique(app_year)))), by = ent_id]
  # 生成相邻年份对，过滤掉企业首个无对照的年份
  year_pairs <- ent_years[, {
    y <- years[[1]]
    if (length(y) < 2) return(NULL)
    .(
      prev_year = y[-length(y)],
      t_year = y[-1]
    )
  }, by = ent_id]
  

• 第三步：相邻年份的类别并集补零合并
  仅对相邻年份配对的两组计数表做最小范围的全连接，覆盖两个年份涉及的所有专利类别，未出现的类别计数直接补0：

  # 设置连接用的二分查找键
  setkey(cat_counts, ent_id, app_year, pat_cat)
  setkey(year_pairs, ent_id, prev_year, t_year)
  # 逐对连接相邻年份的类别计数，避免全表笛卡尔积
  merged_cnt <- year_pairs[, {
    # 取t年的类别计数
    t_dt <- cat_counts[.(ent_id, t_year), .(pat_cat, curr_cnt = cnt)]
    # 取prev年的类别计数
    prev_dt <- cat_counts[.(ent_id, prev_year), .(pat_cat, prev_cnt = cnt)]
    # 全连接得到两类别的并集，缺失值补0
    merge(t_dt, prev_dt, by = "pat_cat", all = TRUE)[
      , lapply(.SD, function(x) fifelse(is.na(x), 0, x))
    ]
  }, by = .(ent_id, prev_year, t_year)]
  

• 第四步：分组计算目标距离值
  直接在小体量的连接结果上按企业-年份分组，向量化计算公式的分子分母项，无额外内存开销：

  dist_res <- merged_cnt[, .(
    numerator = sqrt(sum((curr_cnt - prev_cnt)^2)),
    denom_t = sqrt(sum(curr_cnt^2)),
    denom_prev = sqrt(sum(prev_cnt^2))
  ), by = .(ent_id, t_year)]
  # 处理除以0的边界情况，无有效对照的年份直接赋值为NA
  dist_res[, El_Dist := fifelse(denom_t == 0 | denom_prev == 0,
                                NA_real_,
                                numerator / (denom_t * denom_prev))]
  # 统一字段名匹配原始表
  setnames(dist_res, "t_year", "app_year")
  

• 第五步：匹配回原始明细数据
  通过key值的二分查找，将计算好的距离值直接赋值回原始700万条记录，全程不生成大对象：

  setkey(df, ent_id, app_year)
  df[, El_Dist := dist_res[.SD, on = .(ent_id, app_year), El_Dist]]
  

关键性能说明 #

• 整个流程没有生成全量维度的笛卡尔积，所有连接操作仅发生在相邻年份的计数对之间，内存峰值远低于64G设备的限额。
• 聚合步骤将原始700万条明细压缩到通常20-50万级的类别计数行，后续所有计算都在小表上完成，不会触发内存阻塞。
• 所有操作均采用data.table的原地修改特性，无多余数据拷贝，整体运行耗时通常在30秒以内，远低于传统merge方案。

内容的提问来源于stack exchange，提问作者lovestacksflow