PySpark如何标记df1指定列组合值在df2对应列中是否存在
PySpark实现方案
场景1:常规存在性标记(所有匹配组合统一标1)
核心思路是提取df2的D、E列去重后作为匹配基准,和df1左连接,根据连接结果判断是否匹配:
from pyspark.sql import functions as F # 提取df2中唯一的(D,E)组合,重命名列方便连接 df2_unique = df2.select("D", "E").distinct() \ .withColumnRenamed("D", "A") \ .withColumnRenamed("E", "B") # df1左连接匹配基准,匹配成功的行Exist标1否则0 result = df1.join(df2_unique, on=["A", "B"], how="left") \ .withColumn("Exist", F.when(F.col("A").isNotNull(), 1).otherwise(0))
该方案下所有(A,B)=(0,0)的行Exist都会标记为1,因为df2存在对应组合,是这类需求最常用的实现方式。
场景2:匹配行数对齐(和你给出的示例输出一致)
如果需要df1中标记为1的行数和df2中对应组合的行数完全对齐(比如df2中(D,E)=(0,0)只有1行,所以df1中(A,B)=(0,0)最多1行标1),可以用窗口函数给同组合的行加编号后匹配:
from pyspark.sql import functions as F from pyspark.sql.window import Window # 给df1同组合行加行号 df1_rn = df1.withColumn("rn", F.row_number().over(Window.partitionBy("A", "B").orderBy(F.lit(1)))) # 给df2同组合行加行号,并重命名列 df2_rn = df2.select(F.col("D").alias("A"), F.col("E").alias("B"), F.row_number().over(Window.partitionBy("D", "E").orderBy(F.lit(1))).alias("rn")) \ .distinct() # 按组合+行号左连接生成结果 result = df1_rn.join(df2_rn, on=["A", "B", "rn"], how="left") \ .withColumn("Exist", F.when(F.col("rn").isNotNull(), 1).otherwise(0)) \ .drop("rn")
该方案输出结果和你给出的期望示例完全一致:3行(0,0)的记录里只有1行标记为1,其余为0。
内容的提问来源于stack exchange,提问作者Yabadabado0o0o0o0o0
相关产品推荐
相关产品推荐

