pandas如何基于value_counts实现top值映射并适配apply批量处理多列

核心优化思路 #

你遇到的apply报错根源是默认对Series调用apply时会逐元素传入函数，而你的逻辑需要先统计整列的频率分布，因此只需要调整函数为接收完整Series作为输入，同时用pandas向量化操作替代显式循环，既符合Pythonic规范，执行效率也远高于手动遍历。

优化后代码 #

可适配apply的函数实现 #

import pandas as pd

def get_top2_markets(col: pd.Series) -> pd.Series:
    # 统计当前列出现频率前2的取值
    top2_values = col.value_counts().nlargest(2).index
    # 向量化判断：属于前2则保留原值，否则替换为Other
    return col.where(col.isin(top2_values), "Other")

调用方式 #

1. 单列单独调用

和你原来的调用习惯完全兼容：

df['top_country'] = get_top2_markets(df['country_market'])
df['top_language'] = get_top2_markets(df['language_market'])

2. 多列批量apply调用

如果有多个市场类列需要统一处理，直接批量操作更简洁：

# 所有需要处理的市场类列名
market_columns = ["country_market", "language_market"]
# 批量生成top_前缀的新列
df[[f"top_{col.split('_')[0]}" for col in market_columns]] = df[market_columns].apply(get_top2_markets)

方案优势 #

• 完全适配pandas apply调用逻辑：df[列列表].apply默认按列传入函数，刚好满足先统计整列频率的需求
• 无显式Python层循环，底层是pandas C实现的向量化操作，数据量越大效率优势越明显
• 代码简洁易读，符合pandas最佳实践，新加入同类型列只需要在market_columns里加列名即可复用逻辑

内容的提问来源于stack exchange，提问作者meenaparam