Spark Scala中如何避免自连接？大表查询性能优化咨询

首先拆解你原代码的实际作用：当前的自连接+distinct操作完全是冗余的——左连接后仅保留原pr1的字段，再通过distinct去除连接产生的重复记录，最终结果和直接对筛选后的pr1执行distinct完全一致。这种冗余的自连接会导致大数据量下数据膨胀，大幅增加查询耗时。

方案1：直接去除冗余自连接（匹配原逻辑结果） #

如果你的需求只是保留所有TYPE为contains/CONTAINS的记录并去重，直接简化代码即可：

Scala代码实现 #

val stackoutput = product_relationship_current
  .where(col("TYPE").isin("contains", "CONTAINS"))
  .select(
    col("PRODUCT_ID"),
    col("PRODUCT_VERSION"),
    col("RELATED_PRODUCT_ID"),
    col("RELATED_PRODUCT_VERSION"),
    col("TYPE"),
    col("PRODUCT_VERSION_ID_RELATED_FK")
  )
  .distinct()

对应SQL实现 #

select distinct
  product_id as IO,
  product_version as IOV,
  related_product_id,
  related_product_version,
  type,
  product_version_id_related_fk
from product_relationship_current
where type in ('contains', 'CONTAINS')

方案2：若需过滤关联ID存在的记录（修正可能的逻辑误解） #

如果你实际意图是仅保留PRODUCT_VERSION_ID_RELATED_FK在原表PRODUCT_VERSION_ID_FK中存在的记录（原代码误用左连接），推荐使用半连接（Semi Join）或exists子查询，避免数据膨胀：

Scala半连接实现 #

// 提取需要匹配的目标ID集合
val targetVersionIds = product_relationship_current
  .select(col("PRODUCT_VERSION_ID_FK").alias("matched_id"))

val stackoutput = product_relationship_current
  .where(col("TYPE").isin("contains", "CONTAINS"))
  // 半连接：仅保留匹配上的pr1记录，不会产生重复
  .join(targetVersionIds, col("PRODUCT_VERSION_ID_RELATED_FK") === col("matched_id"), "semi")
  .select(
    col("PRODUCT_ID"),
    col("PRODUCT_VERSION"),
    col("RELATED_PRODUCT_ID"),
    col("RELATED_PRODUCT_VERSION"),
    col("TYPE"),
    col("PRODUCT_VERSION_ID_RELATED_FK")
  )
  .distinct() // 若原表无重复可省略

对应SQL的exists实现 #

select distinct
  product_id as IO,
  product_version as IOV,
  related_product_id,
  related_product_version,
  type,
  product_version_id_related_fk
from product_relationship_current pr1
where type in ('contains', 'CONTAINS')
and exists (
  select 1 from product_relationship_current pr2
  where pr2.PRODUCT_VERSION_ID_FK = pr1.PRODUCT_VERSION_ID_RELATED_FK
)

优化原理 #

原自连接会将pr1的每条记录根据匹配次数复制多份，后续distinct又要处理大量重复数据，导致IO和计算量暴增。而上述方案要么直接去除冗余操作，要么通过半连接/exists仅做存在性校验，避免数据膨胀，大幅提升大数据量下的查询性能。

内容的提问来源于stack exchange，提问作者mr.Penguin