无法存储历史文档频率时，如何用PySpark增量近似计算IDF？

背景说明 #

每日通过PySpark数据管道计算TF-IDF，用来评估特定文档内关键词的重要性，生成机器学习可用的摘要。但文档每日更新，大量关键词重复出现，无法存储所有关键词的历史文档频率信息，需要找到不用全量存储历史的IDF近似或增量计算方法。IDF公式为：idf(t) = log(D / (d: t in d))（其中D是总文档数，d: t in d是包含关键词t的文档数量）

1. 滑动窗口近似法 #

• 维护一个固定时长的文档滑动窗口，比如只保留最近30天或90天的文档数据
• 每日基于窗口内的文档，计算窗口总文档数D_window和每个关键词的文档频率df_window(t)，直接用log(D_window / df_window(t))作为IDF近似值
• 实现简单，PySpark直接对窗口内的DataFrame做聚合统计即可，无需存储长期历史数据
• 缺点是如果关键词的长期分布和窗口内差异较大，结果会有偏差，适合关键词分布相对稳定的场景

2. 指数衰减加权近似法 #

• 给不同时间的文档赋予权重，越旧的文档权重越低，比如用w = e^(-λ*(当前日期-文档日期))，λ是可调整的衰减系数
• 每日维护两个全局累加值：
  • 加权总文档数D_weighted：累加所有历史文档的权重
  • 加权文档频率df_weighted(t)：累加包含关键词t的所有文档的权重
• 近似IDF公式：idf(t) = log(D_weighted / df_weighted(t))
• 在PySpark中可通过广播变量+累加器每日更新这两个值，无需存储全量历史，仅需保留当前的累加结果
• 优势是能兼顾历史数据的影响，同时弱化旧数据的干扰，适合文档分布缓慢变化的场景

3. 增量更新的贝叶斯近似法 #

• 假设关键词的文档频率服从某种先验分布（比如Beta分布），每日用新文档数据更新后验分布
• 初始时给每个关键词设置默认先验值，比如假设先验总文档数D0=100，先验包含t的文档数df0(t)=5，解决新关键词的冷启动问题
• 每日处理新文档时，更新：
  • 总文档数D = 上一次的D + 当日新增文档数
  • 关键词t的文档频率df(t) = 上一次的df(t) + 当日包含t的新增文档数
• 用更新后的D和df(t)计算IDF，新关键词直接用先验值计算初始IDF
• 无需存储全量历史，仅需保留上一次的总文档数和各关键词的文档频率，适合需要跟踪增量变化的场景
• 注意：先验值需根据业务场景调整，避免初始偏差过大

4. 基于抽样的近似法 #

• 定期从历史文档中抽取一部分样本存储（比如每周存一次全量文档的抽样快照），每日计算IDF时，将上周抽样样本与当日新增文档合并使用
• 存储成本极低，只要抽样比例合理，近似值的误差可控，适合文档量极大的场景
• 需注意抽样的代表性，比如按文档类型、时间均匀抽样，避免样本偏差

内容的提问来源于stack exchange，提问作者abilgegunduz