PySpark 3.4.1中任意键关联覆盖主键问题排查与解决咨询

运行环境 #

PySpark==3.4.1

问题详情 #

• 两个数据集共享主键及其他同范围公共列，数据类型匹配，字段支持nullable=true或nullable=false
• 当数据集规模超过10万条时，执行以下左关联操作：

  dataset1.join(dataset2, on="primary_key", how="left")
  dataset1.join(dataset2, on="shared_label", how="left")
  

• 异常表现：结果数据集的主键被覆盖（例如原主键值1-10变为11-20），主键集合的对称差翻倍（大规模场景下主键重叠率极低，对称差约为1.9998）
• 触发关联：该问题在运行PySpark BisectingKMeans模型后出现；若移除关联操作或换用其他关联键，问题会转移至下游处理环节

潜在解决方案 #

• 切换至SQL上下文执行关联逻辑
• 使用RDD的join方法替代DataFrame的join操作
• 生成单调递增ID，通过映射关系重写原主键集合

内容的提问来源于stack exchange，提问作者Matthew Ludwig