如何基于另一PySpark DataFrame列匹配为目标表新增new_id列
PySpark实现方案
你要的需求直接用PySpark的左连接即可实现,逻辑和Python原生pandas的join逻辑完全一致,执行后得到的结果完全匹配你给出的预期结构。
核心实现代码
# 先从df1中提取关联所需的address和new_id字段,避免join后生成多余字段 df1_mapping = df1.select("address", "new_id") # 左连接两个表,未匹配的行new_id自动填充为null new_df2 = df2.join( df1_mapping, on="address", how="left" )
常见问题补充
- 若df1中存在单个address对应多条new_id的情况,建议提前对映射表去重,避免join后df2行数异常增加:
# 按address字段去重,仅保留第一条出现的new_id df1_mapping = df1.select("address", "new_id").dropDuplicates(["address"])
- 若两个表的关联列名称不一致,可手动指定关联条件:
# 示例:df1的关联列名为addr,df2的关联列名为address new_df2 = df2.join( df1_mapping, on=df2.address == df1_mapping.addr, how="left" )
内容的提问来源于stack exchange,提问作者Lucas Mengual
相关产品推荐
相关产品推荐

