Python中如何匹配多列指定关键词实现groupby分组统计?
跨多标签列统计Hashtag对应平均曝光量实现方案
核心逻辑无需逐列单独分组后拼接,直接通过宽表转长表/逐行匹配的方式实现,可避免拼接错位、重复计数、索引不匹配等问题,运行效率更高。
场景1:统计单个指定标签的平均曝光量
如果只需要查询某一个特定标签(比如cloud)对应的平均曝光值,直接逐行匹配所有标签列的命中情况即可,代码如下:
import pandas as pd # 提取所有标签列(适配tag1、tag2……tagN的命名规则) tag_columns = [col for col in df.columns if col.startswith('tag')] target_hashtag = "cloud" # 筛选任意标签列命中目标词的推特行,计算曝光平均值 avg_impressions = df[df[tag_columns].eq(target_hashtag).any(axis=1)]["impressions"].mean()
代码逻辑说明:
df[tag_columns].eq(target_hashtag)会逐单元格判断是否和目标标签一致.any(axis=1)会保留任意一个标签列命中目标的行,不会遗漏标签出现在不同列的情况- 由于同一行不会出现重复标签,该方法不会产生重复计数问题
场景2:批量统计所有标签的平均曝光量
如果需要一次性输出数据集中所有出现过的标签对应的平均曝光值,直接将宽格式的标签列转换为长格式后聚合即可,无需逐列处理:
# 提取所有标签列 tag_columns = [col for col in df.columns if col.startswith('tag')] # 宽表转长表:将每行的多个标签拆分为独立行,保留对应推特的曝光值 tag_long_df = df.melt( id_vars=["impressions"], value_vars=tag_columns, value_name="hashtag" ).dropna(subset=["hashtag"]) # 移除标签为空的无效行 # 按标签分组直接计算平均曝光,一次生成全量结果 hashtag_avg_stats = tag_long_df.groupby("hashtag", as_index=False)["impressions"].mean()
如果需要查询特定标签的结果,直接从结果表中筛选即可:
# 查询cloud标签的平均曝光数据 print(hashtag_avg_stats[hashtag_avg_stats["hashtag"] == "cloud"])
该方案生成的结果和逐列分组拼接的结果完全一致,但代码量减少60%以上,不会出现拼接过程中的数据错位、值缺失问题,数据量较大时运行速度优势更明显。
内容的提问来源于stack exchange,提问作者jdolitsk
相关产品推荐
相关产品推荐

