如何通过title字段关联两个DataFrame为原DataFrame匹配新列值
大数据量DataFrame匹配补全新列的正确实现
千万别逐行遍历df去匹配dg的new值,大数据量下这种做法轻则跑几小时出不了结果,重则直接把driver内存撑爆OOM。这类“根据键值映射补全列值”的场景,直接用Spark原生的等值Join实现就行,是最稳最快的方案。
实现代码
首先把dg里不需要的列裁掉,减少Shuffle阶段的数据传输量:
# 只保留关联需要的title和new两列 dg_mapping = dg.select("title", "new")
然后直接和原df做左连接,匹配对应的值:
df_final = df.join( dg_mapping, on="title", how="left" )
方案优势
- 计算全程在分布式集群上跑,不会把全量数据拉到单机内存处理,哪怕是亿级规模的df也能稳定运行
- 因为你这里的dg本身就是df按title聚合出来的,每个title在dg里只有唯一一行,一个title只对应一个new值,关联完不会出现行数膨胀的问题,最终输出的结果和你给的示例完全对齐
- 性能比逐行遍历的实现高几个量级,没有额外的单机内存开销
避坑提醒
- 别图方便把dg用
collect()拉成单机的Python字典再逐行匹配,百万行以上的df这种做法百分百会占爆driver内存 - 可以提前加一步校验,确认dg里的title没有重复值,避免因为dg本身的重复数据导致关联后df行数异常翻倍
内容的提问来源于stack exchange,提问作者user15050871
相关产品推荐
相关产品推荐

