Pandas/Python如何将标签频率值映射匹配到对应DataFrame行

已知表结构 #

• df_labels：标签发生时间明细表，包含2个字段
  • DateTime：标签发生的日期时间
  • Labels：标签值，单个标签对应多条时间记录，全表数据量1w+行
• df_label_frequency：标签频率维表，包含2个字段
  • Label：标签值
  • Label Frequency：对应标签的出现频率，示例中标签4对应40、标签7对应66、标签9对应12，全表数据量1w+行

需求：按标签值对应关系，为df_labels新增Label Frequency列，逐行匹配对应标签的频率值。

最优实现方式 #

之前用merge、lambda等方法没生效，90%以上的原因是两个表的关联字段数据类型不统一（比如一个存整数、一个存字符串格式的数字），或者merge时关联字段、连接方式指定错误。优先用pandas原生向量运算实现，1w+行数据无性能压力：

1. 先统一关联字段数据类型（根据实际标签存储类型调整，数字标签统一转int，文本标签统一转str）

# 示例为数字标签的类型统一逻辑
df_labels["Labels"] = df_labels["Labels"].astype(int)
df_label_frequency["Label"] = df_label_frequency["Label"].astype(int)

2. 用map做映射匹配，代码简洁且性能最优

# 生成标签到频率的映射字典
freq_mapping = df_label_frequency.set_index("Label")["Label Frequency"].to_dict()
# 直接为df_labels赋值新列
df_labels["Label Frequency"] = df_labels["Labels"].map(freq_mapping)

如果更习惯用merge实现，注意指定左连接保留原明细表的所有行，最后删除冗余字段即可：

df_labels = df_labels.merge(
    df_label_frequency,
    left_on="Labels",
    right_on="Label",
    how="left"
).drop(columns=["Label"])

常见问题排查 #

• 匹配后如果出现空值，先执行df_labels[df_labels["Label Frequency"].isna()]["Labels"].unique()，排查是否存在标签在频率表中无对应记录的情况，补全维表数据即可
• 不要用for循环逐行遍历赋值，1w+行场景下性能比原生向量运算差几十倍
• 不要直接用不带参数的merge，不指定关联字段和连接方式很容易出现笛卡尔积、列名冲突、丢数据的问题

内容的提问来源于stack exchange，提问作者lostinpython