You need to enable JavaScript to run this app. 如何基于另一PySpark DataFrame列匹配为目标表新增new_id列
优惠活动
大模型
产品
解决方案
定价
更多

如何基于另一PySpark DataFrame列匹配为目标表新增new_id列

PySpark实现方案

你要的需求直接用PySpark的左连接即可实现,逻辑和Python原生pandas的join逻辑完全一致,执行后得到的结果完全匹配你给出的预期结构。

核心实现代码

# 先从df1中提取关联所需的address和new_id字段,避免join后生成多余字段
df1_mapping = df1.select("address", "new_id")

# 左连接两个表,未匹配的行new_id自动填充为null
new_df2 = df2.join(
    df1_mapping,
    on="address",
    how="left"
)

常见问题补充

  • 若df1中存在单个address对应多条new_id的情况,建议提前对映射表去重,避免join后df2行数异常增加:
# 按address字段去重,仅保留第一条出现的new_id
df1_mapping = df1.select("address", "new_id").dropDuplicates(["address"])
  • 若两个表的关联列名称不一致,可手动指定关联条件:
# 示例:df1的关联列名为addr,df2的关联列名为address
new_df2 = df2.join(
    df1_mapping,
    on=df2.address == df1_mapping.addr,
    how="left"
)

内容的提问来源于stack exchange,提问作者Lucas Mengual

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 04:36:02