PySpark能否利用映射表根据现有值获取目标字段值?
用映射表替换DataFrame字段的实现方法
完全可以用dfB作为映射表来替换dfA里的Alert flag字段,下面给你几种实用的实现方式:
方法1:用map()函数(最常用)
先把dfB的新旧对应关系转成字典,再用map()匹配替换,不匹配的可以保留原值:
import pandas as pd # 示例数据结构 dfA = pd.DataFrame({'Alert flag': ['A', 'B', 'C', 'D']}) dfB = pd.DataFrame({'Alert_flag_OLD': ['A', 'B', 'C'], 'Alert_flag_NEW': ['High', 'Medium', 'Low']}) # 生成映射字典 alert_map = dict(zip(dfB['Alert_flag_OLD'], dfB['Alert_flag_NEW'])) # 替换字段,不匹配的用fillna保留原内容 dfA['Alert flag'] = dfA['Alert flag'].map(alert_map).fillna(dfA['Alert flag'])
方法2:用replace()函数
直接把映射字典传给replace(),一步完成替换:
dfA['Alert flag'] = dfA['Alert flag'].replace(alert_map)
注:这种方法里,不匹配的值会保持不变,和上面map()+fillna效果一致
方法3:用merge()合并(适合需要保留映射表其他字段的场景)
如果除了替换值,还想把dfB里的其他字段带到dfA里,可以用合并的方式:
# 左合并dfA和dfB,匹配旧标识 merged_df = dfA.merge(dfB, left_on='Alert flag', right_on='Alert_flag_OLD', how='left') # 用新值替换原字段,不匹配的保留原值 merged_df['Alert flag'] = merged_df['Alert_flag_NEW'].fillna(merged_df['Alert flag']) # 删掉不需要的中间字段 merged_df = merged_df.drop(columns=['Alert_flag_OLD', 'Alert_flag_NEW'])
内容的提问来源于stack exchange,提问作者HaychBe
相关产品推荐
相关产品推荐

