You need to enable JavaScript to run this app. PySpark如何标记df1指定列组合值在df2对应列中是否存在
优惠活动
大模型
产品
解决方案
定价
更多

PySpark如何标记df1指定列组合值在df2对应列中是否存在

PySpark实现方案

场景1:常规存在性标记(所有匹配组合统一标1)

核心思路是提取df2的D、E列去重后作为匹配基准,和df1左连接,根据连接结果判断是否匹配:

from pyspark.sql import functions as F

# 提取df2中唯一的(D,E)组合,重命名列方便连接
df2_unique = df2.select("D", "E").distinct() \
                .withColumnRenamed("D", "A") \
                .withColumnRenamed("E", "B")

# df1左连接匹配基准,匹配成功的行Exist标1否则0
result = df1.join(df2_unique, on=["A", "B"], how="left") \
            .withColumn("Exist", F.when(F.col("A").isNotNull(), 1).otherwise(0))

该方案下所有(A,B)=(0,0)的行Exist都会标记为1,因为df2存在对应组合,是这类需求最常用的实现方式。

场景2:匹配行数对齐(和你给出的示例输出一致)

如果需要df1中标记为1的行数和df2中对应组合的行数完全对齐(比如df2中(D,E)=(0,0)只有1行,所以df1中(A,B)=(0,0)最多1行标1),可以用窗口函数给同组合的行加编号后匹配:

from pyspark.sql import functions as F
from pyspark.sql.window import Window

# 给df1同组合行加行号
df1_rn = df1.withColumn("rn", F.row_number().over(Window.partitionBy("A", "B").orderBy(F.lit(1))))
# 给df2同组合行加行号,并重命名列
df2_rn = df2.select(F.col("D").alias("A"), F.col("E").alias("B"), 
                    F.row_number().over(Window.partitionBy("D", "E").orderBy(F.lit(1))).alias("rn")) \
            .distinct()

# 按组合+行号左连接生成结果
result = df1_rn.join(df2_rn, on=["A", "B", "rn"], how="left") \
               .withColumn("Exist", F.when(F.col("rn").isNotNull(), 1).otherwise(0)) \
               .drop("rn")

该方案输出结果和你给出的期望示例完全一致:3行(0,0)的记录里只有1行标记为1,其余为0。

内容的提问来源于stack exchange,提问作者Yabadabado0o0o0o0o0

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 14:06:06