Spark中如何基于另一DataFrame优雅创建存在性标记列？

针对大型数据集，直接用isin结合值映射的方法比左连接更高效简洁，不需要额外处理连接后的列，代码逻辑也更清晰：

步骤说明 #

1. 先从df_2中提取需要匹配的col_2值，转成集合（集合的成员查找效率远高于Series，适合大型数据场景）
2. 用isin判断df的my_id是否在目标集合中，再将布尔结果映射为yes/no

代码示例 #

方法一：用numpy.where实现

import numpy as np

# 提取目标id集合（如果col_2有缺失值，记得加.dropna()）
target_ids = set(df_2['col_2'])

# 新增check列
df['check'] = np.where(df['my_id'].isin(target_ids), 'yes', 'no')

方法二：用map实现（无需导入numpy）

target_ids = set(df_2['col_2'])

# 先判断归属，再将布尔值映射为yes/no
df['check'] = df['my_id'].isin(target_ids).map({True: 'yes', False: 'no'})

为什么这个方法更优 #

• 性能更高：避免了左连接带来的DataFrame合并开销，集合查找是O(1)时间复杂度，适合处理大型数据集
• 代码更简洁：不需要处理连接后的列删除、空值判断等额外步骤，逻辑直接明了
• 内存占用低：只需要存储一个id集合，不需要生成中间连接结果

内容的提问来源于stack exchange，提问作者johnnydoe