如何优化基于typ条件的Pandas分类列转度量值解码逻辑？

步骤1：将透视表转换为分层映射字典 #

先把pivot_A和pivot_B转换成以typ为顶层键、内部是「分类值→度量值」映射的字典结构，这样能快速根据typ定位对应的解码规则：

# 处理pivot_A：生成 {typ: {A的取值: 对应度量值}} 的嵌套字典
map_dict_A = pivot_A.apply(lambda row: row.to_dict(), axis=1).to_dict()
# 处理pivot_B：生成 {typ: {B的取值: 对应度量值}} 的嵌套字典
map_dict_B = pivot_B.apply(lambda row: row.to_dict(), axis=1).to_dict()

步骤2：按typ分组完成解码 #

方法一：groupby+transform（大规模数据首选，效率最高） #

利用pandas的分组向量化操作，避免Python层面的循环开销：

# 解码A列
df['A_decoded'] = df.groupby('typ')['A'].transform(
    lambda x: x.map(map_dict_A[x.name])
)
# 解码B列
df['B_decoded'] = df.groupby('typ')['B'].transform(
    lambda x: x.map(map_dict_B[x.name])
)

方法二：apply逐行映射（代码简洁，中等规模数据适用） #

如果数据量不大，用逐行映射的写法更直观：

def decode_row(row):
    # 按当前行的typ，从对应字典中取A/B的度量值，找不到值可设默认（比如None/0）
    row['A_decoded'] = map_dict_A[row['typ']].get(row['A'], None)
    row['B_decoded'] = map_dict_B[row['typ']].get(row['B'], None)
    return row

df = df.apply(decode_row, axis=1)

方案优势 #

• 字典查找是O(1)时间复杂度，远快于三重循环的遍历匹配
• 分组向量化操作利用pandas底层优化，避免了Python循环的额外开销
• 透视表转字典仅需执行一次，后续解码全程复用映射规则

注意事项 #

• 确保pivot_A/pivot_B的索引typ与df中的typ取值完全一致，否则会出现NaN或默认值
• 若分类列（A/B）存在透视表中未覆盖的取值，可通过get方法自定义默认值（如0或pd.NA）

内容的提问来源于stack exchange，提问作者paule