如何加速或避免两个Spark DataFrame的crossJoin操作

你当前遇到的性能瓶颈核心来自全量笛卡尔积运算的O(mn)复杂度，以下是可直接落地的优化方案：

• 粗筛剪枝减少需要计算的配对数量
  放弃全量crossJoin逻辑，先做低开销的候选召回：
  1. 给文章和问题的文本做分词、提取关键词，基于关键词构建倒排索引，仅保留至少共享2~3个关键词的<问题,文章>配对，可直接过滤90%以上的无关配对
  2. 也可以直接调用Spark MLlib内置的LSH（局部敏感哈希）算法，先为所有文章的文本向量构建索引，再批量查询每个问题的TopK近似相似候选，召回阶段的复杂度可以降到O(m + n*logm)，远低于笛卡尔积的开销
• 优化相似度计算效率
  如果当前用的是普通Python UDF计算相似度，替换为Pandas UDF或者Spark内置的向量运算函数，若允许用Scala实现自定义UDF，性能还能再提升数倍。余弦相似度、Jaccard相似度这类常用计算可以直接用Spark MLlib的内置接口，无需自定义实现
• 优化Top1匹配逻辑
  得到候选配对的相似度得分后，不用先分组求最大值再回表关联，直接用窗口函数实现：

  SELECT * FROM (
    SELECT 
      *,
      row_number() OVER (PARTITION BY question_id ORDER BY similarity_score DESC) AS rn
    FROM question_article_candidate
  ) t WHERE rn = 1
  

  该实现仅需一次shuffle即可拿到每个问题的最优匹配
• 数据分区调优
  若文章表体量小于10G，直接用broadcast(articles)函数将文章表广播到所有计算节点，避免shuffle开销；若两表体量都较大，可以对两张表按文本关键词的哈希值做分桶，仅同哈希分桶的数据做内部关联，减少跨节点数据传输

内容的提问来源于stack exchange，提问作者alvin3206